Semi-Automatic Mapping of Structured Data to Visual Variables

While semantic web data is machine-understandable and well suited for advanced filtering, in its raw representation it is not conveniently understandable to humans. Therefore, visualization is needed. A core challenge when visualizing the structured but heterogeneous data turned out to be a flexible mapping to Visual Variables. This work deals with a highly flexible, semi-automatic solution with a maximum support of the visualization process, reducing the mapping possibilities to a useful subset. The basis for this is knowledge, concerning metrics and structure of the data on the one hand and available visualization structures, platforms and common graphical facts on the other hand — provided by a novel basic visualization ontology. A declarative, platform-independent mapping vocabulary and a framework was developed, utilizing current standards from the semantic web and the Model-Driven Architecture (MDA).:ABSTRACT S. x 1. INTRODUCTION S. 1 2. VISUALIZATION OF STRUCTURED DATA IN GENERAL S. 4 2.1. Global and Local Interfaces S. 4 2.2. Steps of the Visualization Process S. 4 2.3. Existing Visual Selection Mechanisms S. 6 2.4. Existing Visualizations of Structured Data S. 12 2.5. Categorizing SemVis S. 25 3. REQUIREMENTS FOR A FLEXIBLE VISUALIZATION S. 27 3.1. Actors S. 27 3.2. Use Cases S. 27 4. FRESNEL, A STANDARD DISPLAY VOCABULARY FOR RDF S. 31 4.1. Fresnel Lenses S. 31 4.2. Fresnel Formats S. 33 4.3. Fresnel Groups S. 33 4.4. Primaries (Starting Points) S. 33 4.5. Selectors and Inference S. 34 4.6. Application and Reusability S. 34 4.7. Implementation S. 35 5. A VISUALIZATION ONTOLOGY S. 37 5.1. Describing and Formalizing the Field of Visualization S. 37 5.2. Overview S. 37 5.3. VisualVariable S. 38 5.4. DiscreteVisualValue S. 39 5.5. VisualElement S. 41 5.6. VisualizationStructure S. 42 5.7. VisualizationPlatform S. 42 5.8. PresentationScenario S. 43 5.9. Facts S. 44 6. A NOVEL MAPPING VOCABULARY FOR SEMANTIC VISUALIZATION S. 45 6.1. Overview S. 45 6.2. Mapping S. 46 6.3. PropertyMapping S. 47 6.4. ImplicitMapping S. 48 6.5. ExplicitMapping S. 53 6.6. MixedMapping S. 54 6.7. ComplexMapping S. 55 6.8. Inference S. 58 6.9. Explicit Display of Relations S. 58 6.10. Limitations s. 59 7. A MODEL-DRIVEN ARCHITECTURE FOR FLEXIBLE VISUALIZATION S. 60 7.1. A Model-Driven Architecture S. 61 7.2. Applications of the MDA Pattern S. 62 7.3. Complete System Overview S. 71 7.4. Additional Knowledge of the System S. 72 7.5. Comparison to the Graphical Modelling Framework — GMF S. 77 8. VISUALIZATION PLATFORMS S. 80 8.1. Extensible 3D (X3D) S. 80 8.2. Scalable Vector Graphics (SVG) S. 81 8.3. XHTML + CSS S. 82 8.4. Text S. 82 9. OUTLOOK AND CONCLUSION S. 84 9.1. Advanced Mapping Vocabulary S. 84 9.2. Reusing Standardized Ontologies S. 84 9.3. Enabling Dynamic, Interaction and Animation S. 84 9.4. Implementation and Evaluation S. 85 9.5. Conclusion S. 85 GLOSSARY S. 86 BIBLIOGRAPHY S. 87 A. S. 90 A.1. Schemata S. 90Während Semantic-Web-Daten maschinenverstehbar und hervorragend filterbar sind, sind sie — in ihrer Rohform — nicht leicht von Menschen verstehbar. Eine Visualisierung der Daten ist deshalb notwendig. Die Kernherausforderung dabei ist eine flexible Abbildung der strukturierten aber heterogenen Daten auf Visuelle Variablen. Diese Arbeit beschreibt eine hochflexible halbautomatische Lösung bei maximaler Unterstützung des Visualisierungsprozesses, welcher die Abbildungsmöglichkeiten, aus denen der Nutzer zu wählen hat, auf eine sinnvolle Teilmenge reduziert. Die Grundlage dafür sind einerseits Metriken und das Wissen über die Struktur der Daten und andererseits das Wissen über verfügbare Visualisierungsstrukturen, -plattformen und bekannte grafische Fakten, welche durch eine neuentwickelte Visualisierungsontologie bereitgestellt werden. Basierend auf Standards des Semantic Webs und der Model-getriebenen Architektur, wurde desweiteren ein deklaratives, plattformunabhängiges Visualisierungsvokabular und -framework entwickelt.:ABSTRACT S. x 1. INTRODUCTION S. 1 2. VISUALIZATION OF STRUCTURED DATA IN GENERAL S. 4 2.1. Global and Local Interfaces S. 4 2.2. Steps of the Visualization Process S. 4 2.3. Existing Visual Selection Mechanisms S. 6 2.4. Existing Visualizations of Structured Data S. 12 2.5. Categorizing SemVis S. 25 3. REQUIREMENTS FOR A FLEXIBLE VISUALIZATION S. 27 3.1. Actors S. 27 3.2. Use Cases S. 27 4. FRESNEL, A STANDARD DISPLAY VOCABULARY FOR RDF S. 31 4.1. Fresnel Lenses S. 31 4.2. Fresnel Formats S. 33 4.3. Fresnel Groups S. 33 4.4. Primaries (Starting Points) S. 33 4.5. Selectors and Inference S. 34 4.6. Application and Reusability S. 34 4.7. Implementation S. 35 5. A VISUALIZATION ONTOLOGY S. 37 5.1. Describing and Formalizing the Field of Visualization S. 37 5.2. Overview S. 37 5.3. VisualVariable S. 38 5.4. DiscreteVisualValue S. 39 5.5. VisualElement S. 41 5.6. VisualizationStructure S. 42 5.7. VisualizationPlatform S. 42 5.8. PresentationScenario S. 43 5.9. Facts S. 44 6. A NOVEL MAPPING VOCABULARY FOR SEMANTIC VISUALIZATION S. 45 6.1. Overview S. 45 6.2. Mapping S. 46 6.3. PropertyMapping S. 47 6.4. ImplicitMapping S. 48 6.5. ExplicitMapping S. 53 6.6. MixedMapping S. 54 6.7. ComplexMapping S. 55 6.8. Inference S. 58 6.9. Explicit Display of Relations S. 58 6.10. Limitations s. 59 7. A MODEL-DRIVEN ARCHITECTURE FOR FLEXIBLE VISUALIZATION S. 60 7.1. A Model-Driven Architecture S. 61 7.2. Applications of the MDA Pattern S. 62 7.3. Complete System Overview S. 71 7.4. Additional Knowledge of the System S. 72 7.5. Comparison to the Graphical Modelling Framework — GMF S. 77 8. VISUALIZATION PLATFORMS S. 80 8.1. Extensible 3D (X3D) S. 80 8.2. Scalable Vector Graphics (SVG) S. 81 8.3. XHTML + CSS S. 82 8.4. Text S. 82 9. OUTLOOK AND CONCLUSION S. 84 9.1. Advanced Mapping Vocabulary S. 84 9.2. Reusing Standardized Ontologies S. 84 9.3. Enabling Dynamic, Interaction and Animation S. 84 9.4. Implementation and Evaluation S. 85 9.5. Conclusion S. 85 GLOSSARY S. 86 BIBLIOGRAPHY S. 87 A. S. 90 A.1. Schemata S. 9

Visualisierung großer Datenmengen im Raum: Großer Beleg

Large, strongly connected amounts of data, as collected in knowledge bases or those occurring when describing software, are often read slowly and with difficulty by humans when they are represented as spreadsheets or text. Graphical representations can help people to understand facts more intuitively and offer a quick overview. The electronic representation offers means that are beyond the possibilities of print such as unlimited zoom and hyperlinks. This paper addresses a framework for visualizing connected information in 3D-space taking into account the techniques of media design to build visualization structures and map information to graphical properties.:1 EINFÜHRUNG S. 9 1.1 Zusammenfassung des Gestaltungsentwurfs S. 9 1.2 Ziel des Belegs S. 10 1.3 Interdisziplinäres Projekt S. 10 2 VORGEHEN S. 12 2.1 Ablauf S. 12 2.2 Konkrete Beispielinhalte S. 13 2.3 Beispielimplementierung S. 13 3 DATENMODELL S. 15 3.1 Ontologien S. 15 3.2 Ontologie Konstruktion S. 15 3.3 Analyse der Domain Design S. 18 3.8 Erstes Ordnen S. 19 3.9 Verwendete Ontologie-Struktur S. 21 3.10 Design-Ontologien S. 23 3.11 Schwierigkeiten bei der Ontologiekonstruktion S. 28 3.12 Einpflegen der Daten mit Protégé S. 29 3.13 Facetten S. 29 3.14 Filter S. 32 4 DATENVISUALISIERUNG S. 35 4.1 Visualisierung zeitlicher Daten S. 35 4.2 Hyperhistory S. 35 4.3 Graphisches Vokabular - graphische Dimensionen S. 37 4.4 Mapping S. 39 5 FRAMEWORK UND GESTALTUNG DES MEDIUMS S. 43 5.1 Technologien und Werkzeuge S. 44 5.2 Architektur S. 46 5.3 Konfiguration S. 51 5.4 DataBackendManager S. 52 5.5 Mapping im Framework S. 53 5.6 atomicelements S. 54 5.7 Appearance Bibliothek S. 55 5.8 TransformationUtils S. 56 5.9 Structures S. 57 5.10 LOD S. 64 5.11 Häufung von Einträgen [+] S. 66 5.12 Darstellung von Relationen [+] S. 69 5.13 Head Up Display [+] S. 71 5.14 Navigation S. 72 5.15 Performanz S. 73 5.16 Gestaltung des Mediums S. 74 6 AUSBLICK S. 80 7 FAZIT S. 81 8 ANHANG A – Installation S. 82 8.1 Vorraussetzungen S. 82 8.2 Programmaufruf S. 82 8.3 Stereoskopie S. 82 9 ANHANG B – Beispielimplementierung zur Visualisierung des Themas „Geschichte des Designs in Deutschland im 19. und 20. Jh.“ S. 84 9.1 Eingrenzung des Umfangs S. 84 9.2 Überblick zur deutschen Designgeschichte S. 84 9.3 Vorgehen S. 85 9.4 Unscharfe Datumsangaben S. 85 9.5 Kontextereignisse S. 85 9.6 Ursache-Wirkung-Beziehungen S. 86 9.7 Mehrsprachigkeit S. 86 9.8 Quellenangaben S. 86 9.9 Bildmaterial S. 87 LITERATURVERZEICHNIS S. 88 GLOSSAR S. 90 ABBILDUNGSVERZEICHNIS S. 91Große, stark vernetzte Datenmengen, wie sie in Wissensbasen oder Softwaremodellen vorkommen, sind von Menschen oft nur langsam und mühsam zu lesen, wenn sie als Tabellen oder Text dargestellt werden. Graphische Darstellungen können Menschen helfen, Tatsachen intuitiver zu verstehen und bieten einen schnellen Überblick. Die elektronische Darstellung bietet Mittel, welche über die Möglichkeiten von Print hinausgehen, wie z.B. unbegrenzten Zoom und Hyperlinks. Diese Arbeit stellt ein Framework für die Visualisierung vernetzter Informationen im 3D-Raum vor, welches Techniken der Gestaltung zur Erstellung von graphischen Strukturen und zur Abbildung von Informationen auf graphische Eigenschaften berücksichtigt.:1 EINFÜHRUNG S. 9 1.1 Zusammenfassung des Gestaltungsentwurfs S. 9 1.2 Ziel des Belegs S. 10 1.3 Interdisziplinäres Projekt S. 10 2 VORGEHEN S. 12 2.1 Ablauf S. 12 2.2 Konkrete Beispielinhalte S. 13 2.3 Beispielimplementierung S. 13 3 DATENMODELL S. 15 3.1 Ontologien S. 15 3.2 Ontologie Konstruktion S. 15 3.3 Analyse der Domain Design S. 18 3.8 Erstes Ordnen S. 19 3.9 Verwendete Ontologie-Struktur S. 21 3.10 Design-Ontologien S. 23 3.11 Schwierigkeiten bei der Ontologiekonstruktion S. 28 3.12 Einpflegen der Daten mit Protégé S. 29 3.13 Facetten S. 29 3.14 Filter S. 32 4 DATENVISUALISIERUNG S. 35 4.1 Visualisierung zeitlicher Daten S. 35 4.2 Hyperhistory S. 35 4.3 Graphisches Vokabular - graphische Dimensionen S. 37 4.4 Mapping S. 39 5 FRAMEWORK UND GESTALTUNG DES MEDIUMS S. 43 5.1 Technologien und Werkzeuge S. 44 5.2 Architektur S. 46 5.3 Konfiguration S. 51 5.4 DataBackendManager S. 52 5.5 Mapping im Framework S. 53 5.6 atomicelements S. 54 5.7 Appearance Bibliothek S. 55 5.8 TransformationUtils S. 56 5.9 Structures S. 57 5.10 LOD S. 64 5.11 Häufung von Einträgen [+] S. 66 5.12 Darstellung von Relationen [+] S. 69 5.13 Head Up Display [+] S. 71 5.14 Navigation S. 72 5.15 Performanz S. 73 5.16 Gestaltung des Mediums S. 74 6 AUSBLICK S. 80 7 FAZIT S. 81 8 ANHANG A – Installation S. 82 8.1 Vorraussetzungen S. 82 8.2 Programmaufruf S. 82 8.3 Stereoskopie S. 82 9 ANHANG B – Beispielimplementierung zur Visualisierung des Themas „Geschichte des Designs in Deutschland im 19. und 20. Jh.“ S. 84 9.1 Eingrenzung des Umfangs S. 84 9.2 Überblick zur deutschen Designgeschichte S. 84 9.3 Vorgehen S. 85 9.4 Unscharfe Datumsangaben S. 85 9.5 Kontextereignisse S. 85 9.6 Ursache-Wirkung-Beziehungen S. 86 9.7 Mehrsprachigkeit S. 86 9.8 Quellenangaben S. 86 9.9 Bildmaterial S. 87 LITERATURVERZEICHNIS S. 88 GLOSSAR S. 90 ABBILDUNGSVERZEICHNIS S. 9

Semi-Automatic Mapping of Structured Data to Visual Variables

While semantic web data is machine-understandable and well suited for advanced filtering, in its raw representation it is not conveniently understandable to humans. Therefore, visualization is needed. A core challenge when visualizing the structured but heterogeneous data turned out to be a flexible mapping to Visual Variables. This work deals with a highly flexible, semi-automatic solution with a maximum support of the visualization process, reducing the mapping possibilities to a useful subset. The basis for this is knowledge, concerning metrics and structure of the data on the one hand and available visualization structures, platforms and common graphical facts on the other hand — provided by a novel basic visualization ontology. A declarative, platform-independent mapping vocabulary and a framework was developed, utilizing current standards from the semantic web and the Model-Driven Architecture (MDA).:ABSTRACT S. x 1. INTRODUCTION S. 1 2. VISUALIZATION OF STRUCTURED DATA IN GENERAL S. 4 2.1. Global and Local Interfaces S. 4 2.2. Steps of the Visualization Process S. 4 2.3. Existing Visual Selection Mechanisms S. 6 2.4. Existing Visualizations of Structured Data S. 12 2.5. Categorizing SemVis S. 25 3. REQUIREMENTS FOR A FLEXIBLE VISUALIZATION S. 27 3.1. Actors S. 27 3.2. Use Cases S. 27 4. FRESNEL, A STANDARD DISPLAY VOCABULARY FOR RDF S. 31 4.1. Fresnel Lenses S. 31 4.2. Fresnel Formats S. 33 4.3. Fresnel Groups S. 33 4.4. Primaries (Starting Points) S. 33 4.5. Selectors and Inference S. 34 4.6. Application and Reusability S. 34 4.7. Implementation S. 35 5. A VISUALIZATION ONTOLOGY S. 37 5.1. Describing and Formalizing the Field of Visualization S. 37 5.2. Overview S. 37 5.3. VisualVariable S. 38 5.4. DiscreteVisualValue S. 39 5.5. VisualElement S. 41 5.6. VisualizationStructure S. 42 5.7. VisualizationPlatform S. 42 5.8. PresentationScenario S. 43 5.9. Facts S. 44 6. A NOVEL MAPPING VOCABULARY FOR SEMANTIC VISUALIZATION S. 45 6.1. Overview S. 45 6.2. Mapping S. 46 6.3. PropertyMapping S. 47 6.4. ImplicitMapping S. 48 6.5. ExplicitMapping S. 53 6.6. MixedMapping S. 54 6.7. ComplexMapping S. 55 6.8. Inference S. 58 6.9. Explicit Display of Relations S. 58 6.10. Limitations s. 59 7. A MODEL-DRIVEN ARCHITECTURE FOR FLEXIBLE VISUALIZATION S. 60 7.1. A Model-Driven Architecture S. 61 7.2. Applications of the MDA Pattern S. 62 7.3. Complete System Overview S. 71 7.4. Additional Knowledge of the System S. 72 7.5. Comparison to the Graphical Modelling Framework — GMF S. 77 8. VISUALIZATION PLATFORMS S. 80 8.1. Extensible 3D (X3D) S. 80 8.2. Scalable Vector Graphics (SVG) S. 81 8.3. XHTML + CSS S. 82 8.4. Text S. 82 9. OUTLOOK AND CONCLUSION S. 84 9.1. Advanced Mapping Vocabulary S. 84 9.2. Reusing Standardized Ontologies S. 84 9.3. Enabling Dynamic, Interaction and Animation S. 84 9.4. Implementation and Evaluation S. 85 9.5. Conclusion S. 85 GLOSSARY S. 86 BIBLIOGRAPHY S. 87 A. S. 90 A.1. Schemata S. 90Während Semantic-Web-Daten maschinenverstehbar und hervorragend filterbar sind, sind sie — in ihrer Rohform — nicht leicht von Menschen verstehbar. Eine Visualisierung der Daten ist deshalb notwendig. Die Kernherausforderung dabei ist eine flexible Abbildung der strukturierten aber heterogenen Daten auf Visuelle Variablen. Diese Arbeit beschreibt eine hochflexible halbautomatische Lösung bei maximaler Unterstützung des Visualisierungsprozesses, welcher die Abbildungsmöglichkeiten, aus denen der Nutzer zu wählen hat, auf eine sinnvolle Teilmenge reduziert. Die Grundlage dafür sind einerseits Metriken und das Wissen über die Struktur der Daten und andererseits das Wissen über verfügbare Visualisierungsstrukturen, -plattformen und bekannte grafische Fakten, welche durch eine neuentwickelte Visualisierungsontologie bereitgestellt werden. Basierend auf Standards des Semantic Webs und der Model-getriebenen Architektur, wurde desweiteren ein deklaratives, plattformunabhängiges Visualisierungsvokabular und -framework entwickelt.:ABSTRACT S. x 1. INTRODUCTION S. 1 2. VISUALIZATION OF STRUCTURED DATA IN GENERAL S. 4 2.1. Global and Local Interfaces S. 4 2.2. Steps of the Visualization Process S. 4 2.3. Existing Visual Selection Mechanisms S. 6 2.4. Existing Visualizations of Structured Data S. 12 2.5. Categorizing SemVis S. 25 3. REQUIREMENTS FOR A FLEXIBLE VISUALIZATION S. 27 3.1. Actors S. 27 3.2. Use Cases S. 27 4. FRESNEL, A STANDARD DISPLAY VOCABULARY FOR RDF S. 31 4.1. Fresnel Lenses S. 31 4.2. Fresnel Formats S. 33 4.3. Fresnel Groups S. 33 4.4. Primaries (Starting Points) S. 33 4.5. Selectors and Inference S. 34 4.6. Application and Reusability S. 34 4.7. Implementation S. 35 5. A VISUALIZATION ONTOLOGY S. 37 5.1. Describing and Formalizing the Field of Visualization S. 37 5.2. Overview S. 37 5.3. VisualVariable S. 38 5.4. DiscreteVisualValue S. 39 5.5. VisualElement S. 41 5.6. VisualizationStructure S. 42 5.7. VisualizationPlatform S. 42 5.8. PresentationScenario S. 43 5.9. Facts S. 44 6. A NOVEL MAPPING VOCABULARY FOR SEMANTIC VISUALIZATION S. 45 6.1. Overview S. 45 6.2. Mapping S. 46 6.3. PropertyMapping S. 47 6.4. ImplicitMapping S. 48 6.5. ExplicitMapping S. 53 6.6. MixedMapping S. 54 6.7. ComplexMapping S. 55 6.8. Inference S. 58 6.9. Explicit Display of Relations S. 58 6.10. Limitations s. 59 7. A MODEL-DRIVEN ARCHITECTURE FOR FLEXIBLE VISUALIZATION S. 60 7.1. A Model-Driven Architecture S. 61 7.2. Applications of the MDA Pattern S. 62 7.3. Complete System Overview S. 71 7.4. Additional Knowledge of the System S. 72 7.5. Comparison to the Graphical Modelling Framework — GMF S. 77 8. VISUALIZATION PLATFORMS S. 80 8.1. Extensible 3D (X3D) S. 80 8.2. Scalable Vector Graphics (SVG) S. 81 8.3. XHTML + CSS S. 82 8.4. Text S. 82 9. OUTLOOK AND CONCLUSION S. 84 9.1. Advanced Mapping Vocabulary S. 84 9.2. Reusing Standardized Ontologies S. 84 9.3. Enabling Dynamic, Interaction and Animation S. 84 9.4. Implementation and Evaluation S. 85 9.5. Conclusion S. 85 GLOSSARY S. 86 BIBLIOGRAPHY S. 87 A. S. 90 A.1. Schemata S. 9

Ontology-Driven, Guided Visualisation Supporting Explicit and Composable Mappings

Data masses on the World Wide Web can hardly be managed by humans or machines. One option is the formal description and linking of data sources using Semantic Web and Linked Data technologies. Ontologies written in standardised languages foster the sharing and linking of data as they provide a means to formally define concepts and relations between these concepts. A second option is visualisation. The visual representation allows humans to perceive information more directly, using the highly developed visual sense. Relatively few efforts have been made on combining both options, although the formality and rich semantics of ontological data make it an ideal candidate for visualisation. Advanced visualisation design systems support the visualisation of tabular, typically statistical data. However, visualisations of ontological data still have to be created manually, since automated solutions are often limited to generic lists or node-link diagrams. Also, the semantics of ontological data are not exploited for guiding users through visualisation tasks. Finally, once a good visualisation setting has been created, it cannot easily be reused and shared. Trying to tackle these problems, we had to answer how to define composable and shareable mappings from ontological data to visual means and how to guide the visual mapping of ontological data. We present an approach that allows for the guided visualisation of ontological data, the creation of effective graphics and the reuse of visualisation settings. Instead of generic graphics, we aim at tailor-made graphics, produced using the whole palette of visual means in a flexible, bottom-up approach. It not only allows for visualising ontologies, but uses ontologies to guide users when visualising data and to drive the visualisation process at various places: First, as a rich source of information on data characteristics, second, as a means to formally describe the vocabulary for building abstract graphics, and third, as a knowledge base of facts on visualisation. This is why we call our approach ontology-driven. We suggest generating an Abstract Visual Model (AVM) to represent and »synthesise« a graphic following a role-based approach, inspired by the one used by J. v. Engelhardt for the analysis of graphics. It consists of graphic objects and relations formalised in the Visualisation Ontology (VISO). A mappings model, based on the declarative RDFS/OWL Visualisation Language (RVL), determines a set of transformations from the domain data to the AVM. RVL allows for composable visual mappings that can be shared and reused across platforms. To guide the user, for example, we discourage the construction of mappings that are suboptimal according to an effectiveness ranking formalised in the fact base and suggest more effective mappings instead. The guidance process is flexible, since it is based on exchangeable rules. VISO, RVL and the AVM are additional contributions of this thesis. Further, we initially analysed the state of the art in visualisation and RDF-presentation comparing 10 approaches by 29 criteria. Our approach is unique because it combines ontology-driven guidance with composable visual mappings. Finally, we compare three prototypes covering the essential parts of our approach to show its feasibility. We show how the mapping process can be supported by tools displaying warning messages for non-optimal visual mappings, e.g., by considering relation characteristics such as »symmetry«. In a constructive evaluation, we challenge both the RVL language and the latest prototype trying to regenerate sketches of graphics we created manually during analysis. We demonstrate how graphics can be varied and complex mappings can be composed from simple ones. Two thirds of the sketches can be almost or completely specified and half of them can be almost or completely implemented.:Legend and Overview of Prefixes xiii 1 Introduction 1 2 Background 11 2.1 Visualisation 11 2.1.1 What is Visualisation? 11 2.1.2 What are the Benefits of Visualisation? 12 2.1.3 Visualisation Related Terms Used in this Thesis 12 2.1.4 Visualisation Models and Architectural Patterns 12 2.1.5 Visualisation Design Systems 14 2.1.6 What is the Difference between Visual Mapping and Styling? 14 2.1.7 Lessons Learned from Style Sheet Languages 15 2.2 Data 16 2.2.1 Data – Information – Knowledge 17 2.2.2 Structured Data 17 2.2.3 Ontologies in Computer Science 19 2.2.4 The Semantic Web and its Languages 19 2.2.5 Linked Data and Open Data 20 2.2.6 The Metamodelling Technological Space 21 2.2.7 SPIN 21 2.3 Guidance 22 2.3.1 Guidance in Visualisation 22 3 Problem Analysis 23 3.1 Problems of Ontology Visualisation Approaches 24 3.2 Research Questions 25 3.3 Set up of the Case Studies 25 3.3.1 Case Studies in the Life Sciences Domain 26 3.3.2 Case Studies in the Publishing Domain 26 3.3.3 Case Studies in the Software Technology Domain 27 3.4 Analysis of the Case Studies’ Ontologies 27 3.5 Manual Sketching of Graphics 29 3.6 Analysis of the Graphics for Typical Visualisation Cases 29 3.7 Requirements 33 3.7.1 Requirements for Visualisation and Interaction 34 3.7.2 Requirements for Data Awareness 34 3.7.3 Requirements for Reuse and Composition 34 3.7.4 Requirements for Variability 35 3.7.5 Requirements for Tooling Support and Guidance 35 3.7.6 Optional Features and Limitations 36 4 Analysis of the State of the Art 37 4.1 Related Visualisation Approaches 38 4.1.1 Short Overview of the Approaches 38 4.1.2 Detailed Comparison by Criteria 46 4.1.3 Conclusion – What Is Still Missing? 60 4.2 Visualisation Languages 62 4.2.1 Short Overview of the Compared Languages 62 4.2.2 Detailed Comparison by Language Criteria 66 4.2.3 Conclusion – What Is Still Missing? 71 4.3 RDF Presentation Languages 72 4.3.1 Short Overview of the Compared Languages 72 4.3.2 Detailed Comparison by Language Criteria 76 4.3.3 Additional Criteria for RDF Display Languages 87 4.3.4 Conclusion – What Is Still Missing? 89 4.4 Model-Driven Interfaces 90 4.4.1 Metamodel-Driven Interfaces 90 4.4.2 Ontology-Driven Interfaces 92 4.4.3 Combined Usage of the Metamodelling and Ontology Technological Space 94 5 A Visualisation Ontology – VISO 97 5.1 Methodology Used for Ontology Creation 100 5.2 Requirements for a Visualisation Ontology 100 5.3 Existing Approaches to Modelling in the Field of Visualisation 101 5.3.1 Terminologies and Taxonomies 101 5.3.2 Existing Visualisation Ontologies 102 5.3.3 Other Visualisation Models and Approaches to Formalisation 103 5.3.4 Summary 103 5.4 Technical Aspects of VISO 103 5.5 VISO/graphic Module – Graphic Vocabulary 104 5.5.1 Graphic Representations and Graphic Objects 105 5.5.2 Graphic Relations and Syntactic Structures 107 5.6 VISO/data Module – Characterising Data 110 5.6.1 Data Structure and Characteristics of Relations 110 5.6.2 The Scale of Measurement and Units 112 5.6.3 Properties for Characterising Data Variables in Statistical Data 113 5.7 VISO/facts Module – Facts for Vis. Constraints and Rules 115 5.7.1 Expressiveness of Graphic Relations 116 5.7.2 Effectiveness Ranking of Graphic Relations 118 5.7.3 Rules for Composing Graphics 119 5.7.4 Other Rules to Consider for Visual Mapping 124 5.7.5 Providing Named Value Collections 124 5.7.6 Existing Approaches to the Formalisation of Visualisation Knowledge . . 126 5.7.7 The VISO/facts/empiric Example Knowledge Base 126 5.8 Other VISO Modules 126 5.9 Conclusions and Future Work 127 5.10 Further Use Cases for VISO 127 5.11 VISO on the Web – Sharing the Vocabulary to Build a Community 128 6 A VISO-Based Abstract Visual Model – AVM 129 6.1 Graphical Notation Used in this Chapter 129 6.2 Elementary Graphic Objects and Graphic Attributes 131 6.3 N-Ary Relations 131 6.4 Binary Relations 131 6.5 Composition of Graphic Objects Using Roles 132 6.6 Composition of Graphic Relations Using Roles 132 6.7 Composition of Visual Mappings Using the AVM 135 6.8 Tracing 135 6.9 Is it Worth Having an Abstract Visual Model? 135 6.10 Discussion of Fresnel as a Related Language 137 6.11 Related Work 139 6.12 Limitations 139 6.13 Conclusions 140 7 A Language for RDFS/OWL Visualisation – RVL 141 7.1 Language Requirements 142 7.2 Main RVL Constructs 145 7.2.1 Mapping 145 7.2.2 Property Mapping 146 7.2.3 Identity Mapping 146 7.2.4 Value Mapping 147 7.2.5 Inheriting RVL Settings 147 7.2.6 Resource Mapping 148 7.2.7 Simplifications 149 7.3 Calculating Value Mappings 150 7.4 Defining Scale of Measurement 153 7.4.1 Determining the Scale of Measurement 154 7.5 Addressing Values in Value Mappings 156 7.5.1 Determining the Set of Addressed Source Values 156 7.5.2 Determining the Set of Addressed Target Values 157 7.6 Overlapping Value Mappings 158 7.7 Default Value Mapping 158 7.8 Default Labelling 159 7.9 Defining Interaction 159 7.10 Mapping Composition and Submappings 160 7.11 A Schema Language for RVL 160 7.11.1 Concrete Examples of the RVL Schema 163 7.12 Conclusions and Future Work 166 8 The OGVIC Approach 169 8.1 Ontology-Driven, Guided Editing of Visual Mappings 172 8.1.1 Classification of Constraints 172 8.1.2 Levels of Guidance 173 8.1.3 Implementing Constraint-Based Guidance 173 8.2 Support of Explicit and Composable Visual Mappings 177 8.2.1 Mapping Composition Cases 178 8.2.2 Selecting a Context 180 8.2.3 Using the Same Graphic Relation Multiple Times 181 8.3 Prototype P1 (TopBraid-Composer-based) 182 8.4 Prototype P2 (OntoWiki-based) 184 8.5 Prototype P3 (Java Implementation of RVL) 187 8.6 Lessons Learned from Prototypes & Future Work 190 8.6.1 Checking RVL Constraints and Visualisation Rules 190 8.6.2 A User Interface for Editing RVL Mappings 190 8.6.3 Graph Transformations with SPIN and SPARQL 1.1 Update 192 8.6.4 Selection and Filtering of Data 193 8.6.5 Interactivity and Incremental Processing 193 8.6.6 Rendering the Final Platform-Specific Code 196 9 Application 197 9.1 Coverage of Case Study Sketches and Necessary Features 198 9.2 Coverage of Visualisation Cases 201 9.3 Coverage of Requirements 205 9.4 Full Example 206 10 Conclusions 211 10.1 Contributions 211 10.2 Constructive Evaluation 212 10.3 Research Questions 213 10.4 Transfer to Other Models and Constraint Languages 213 10.5 Limitations 214 10.6 Future Work 214 Appendices 217 A Case Study Sketches 219 B VISO – Comparison of Visualisation Literature 229 C RVL 231 D RVL Example Mappings and Application 233 D.1 Listings of RVL Example Mappings as Required by Prototype P3 233 D.2 Features Required for Implementing all Sketches 235 D.3 JSON Format for Processing the AVM with D3 – Hierarchical Variant 238 Bibliography 238 List of Figures 251 List of Tables 254 List of Listings 257Datenmassen im World Wide Web können kaum von Menschen oder Maschinen erfasst werden. Eine Option ist die formale Beschreibung und Verknüpfung von Datenquellen mit Semantic-Web- und Linked-Data-Technologien. Ontologien, in standardisierten Sprachen geschrieben, befördern das Teilen und Verknüpfen von Daten, da sie ein Mittel zur formalen Definition von Konzepten und Beziehungen zwischen diesen Konzepten darstellen. Eine zweite Option ist die Visualisierung. Die visuelle Repräsentation ermöglicht es dem Menschen, Informationen direkter wahrzunehmen, indem er seinen hochentwickelten Sehsinn verwendet. Relativ wenige Anstrengungen wurden unternommen, um beide Optionen zu kombinieren, obwohl die Formalität und die reichhaltige Semantik ontologische Daten zu einem idealen Kandidaten für die Visualisierung machen. Visualisierungsdesignsysteme unterstützen Nutzer bei der Visualisierung von tabellarischen, typischerweise statistischen Daten. Visualisierungen ontologischer Daten jedoch müssen noch manuell erstellt werden, da automatisierte Lösungen häufig auf generische Listendarstellungen oder Knoten-Kanten-Diagramme beschränkt sind. Auch die Semantik der ontologischen Daten wird nicht ausgenutzt, um Benutzer durch Visualisierungsaufgaben zu führen. Einmal erstellte Visualisierungseinstellungen können nicht einfach wiederverwendet und geteilt werden. Um diese Probleme zu lösen, mussten wir eine Antwort darauf finden, wie die Definition komponierbarer und wiederverwendbarer Abbildungen von ontologischen Daten auf visuelle Mittel geschehen könnte und wie Nutzer bei dieser Abbildung geführt werden könnten. Wir stellen einen Ansatz vor, der die geführte Visualisierung von ontologischen Daten, die Erstellung effektiver Grafiken und die Wiederverwendung von Visualisierungseinstellungen ermöglicht. Statt auf generische Grafiken zielt der Ansatz auf maßgeschneiderte Grafiken ab, die mit der gesamten Palette visueller Mittel in einem flexiblen Bottom-Up-Ansatz erstellt werden. Er erlaubt nicht nur die Visualisierung von Ontologien, sondern verwendet auch Ontologien, um Benutzer bei der Visualisierung von Daten zu führen und den Visualisierungsprozess an verschiedenen Stellen zu steuern: Erstens als eine reichhaltige Informationsquelle zu Datencharakteristiken, zweitens als Mittel zur formalen Beschreibung des Vokabulars für den Aufbau von abstrakten Grafiken und drittens als Wissensbasis von Visualisierungsfakten. Deshalb nennen wir unseren Ansatz ontologie-getrieben. Wir schlagen vor, ein Abstract Visual Model (AVM) zu generieren, um eine Grafik rollenbasiert zu synthetisieren, angelehnt an einen Ansatz der von J. v. Engelhardt verwendet wird, um Grafiken zu analysieren. Das AVM besteht aus grafischen Objekten und Relationen, die in der Visualisation Ontology (VISO) formalisiert sind. Ein Mapping-Modell, das auf der deklarativen RDFS/OWL Visualisation Language (RVL) basiert, bestimmt eine Menge von Transformationen von den Quelldaten zum AVM. RVL ermöglicht zusammensetzbare »Mappings«, visuelle Abbildungen, die über Plattformen hinweg geteilt und wiederverwendet werden können. Um den Benutzer zu führen, bewerten wir Mappings anhand eines in der Faktenbasis formalisierten Effektivitätsrankings und schlagen ggf. effektivere Mappings vor. Der Beratungsprozess ist flexibel, da er auf austauschbaren Regeln basiert. VISO, RVL und das AVM sind weitere Beiträge dieser Arbeit. Darüber hinaus analysieren wir zunächst den Stand der Technik in der Visualisierung und RDF-Präsentation, indem wir 10 Ansätze nach 29 Kriterien vergleichen. Unser Ansatz ist einzigartig, da er eine ontologie-getriebene Nutzerführung mit komponierbaren visuellen Mappings vereint. Schließlich vergleichen wir drei Prototypen, welche die wesentlichen Teile unseres Ansatzes umsetzen, um seine Machbarkeit zu zeigen. Wir zeigen, wie der Mapping-Prozess durch Tools unterstützt werden kann, die Warnmeldungen für nicht optimale visuelle Abbildungen anzeigen, z. B. durch Berücksichtigung von Charakteristiken der Relationen wie »Symmetrie«. In einer konstruktiven Evaluation fordern wir sowohl die RVL-Sprache als auch den neuesten Prototyp heraus, indem wir versuchen Skizzen von Grafiken umzusetzen, die wir während der Analyse manuell erstellt haben. Wir zeigen, wie Grafiken variiert werden können und komplexe Mappings aus einfachen zusammengesetzt werden können. Zwei Drittel der Skizzen können fast vollständig oder vollständig spezifiziert werden und die Hälfte kann fast vollständig oder vollständig umgesetzt werden.:Legend and Overview of Prefixes xiii 1 Introduction 1 2 Background 11 2.1 Visualisation 11 2.1.1 What is Visualisation? 11 2.1.2 What are the Benefits of Visualisation? 12 2.1.3 Visualisation Related Terms Used in this Thesis 12 2.1.4 Visualisation Models and Architectural Patterns 12 2.1.5 Visualisation Design Systems 14 2.1.6 What is the Difference between Visual Mapping and Styling? 14 2.1.7 Lessons Learned from Style Sheet Languages 15 2.2 Data 16 2.2.1 Data – Information – Knowledge 17 2.2.2 Structured Data 17 2.2.3 Ontologies in Computer Science 19 2.2.4 The Semantic Web and its Languages 19 2.2.5 Linked Data and Open Data 20 2.2.6 The Metamodelling Technological Space 21 2.2.7 SPIN 21 2.3 Guidance 22 2.3.1 Guidance in Visualisation 22 3 Problem Analysis 23 3.1 Problems of Ontology Visualisation Approaches 24 3.2 Research Questions 25 3.3 Set up of the Case Studies 25 3.3.1 Case Studies in the Life Sciences Domain 26 3.3.2 Case Studies in the Publishing Domain 26 3.3.3 Case Studies in the Software Technology Domain 27 3.4 Analysis of the Case Studies’ Ontologies 27 3.5 Manual Sketching of Graphics 29 3.6 Analysis of the Graphics for Typical Visualisation Cases 29 3.7 Requirements 33 3.7.1 Requirements for Visualisation and Interaction 34 3.7.2 Requirements for Data Awareness 34 3.7.3 Requirements for Reuse and Composition 34 3.7.4 Requirements for Variability 35 3.7.5 Requirements for Tooling Support and Guidance 35 3.7.6 Optional Features and Limitations 36 4 Analysis of the State of the Art 37 4.1 Related Visualisation Approaches 38 4.1.1 Short Overview of the Approaches 38 4.1.2 Detailed Comparison by Criteria 46 4.1.3 Conclusion – What Is Still Missing? 60 4.2 Visualisation Languages 62 4.2.1 Short Overview of the Compared Languages 62 4.2.2 Detailed Comparison by Language Criteria 66 4.2.3 Conclusion – What Is Still Missing? 71 4.3 RDF Presentation Languages 72 4.3.1 Short Overview of the Compared Languages 72 4.3.2 Detailed Comparison by Language Criteria 76 4.3.3 Additional Criteria for RDF Display Languages 87 4.3.4 Conclusion – What Is Still Missing? 89 4.4 Model-Driven Interfaces 90 4.4.1 Metamodel-Driven Interfaces 90 4.4.2 Ontology-Driven Interfaces 92 4.4.3 Combined Usage of the Metamodelling and Ontology Technological Space 94 5 A Visualisation Ontology – VISO 97 5.1 Methodology Used for Ontology Creation 100 5.2 Requirements for a Visualisation Ontology 100 5.3 Existing Approaches to Modelling in the Field of Visualisation 101 5.3.1 Terminologies and Taxonomies 101 5.3.2 Existing Visualisation Ontologies 102 5.3.3 Other Visualisation Models and Approaches to Formalisation 103 5.3.4 Summary 103 5.4 Technical Aspects of VISO 103 5.5 VISO/graphic Module – Graphic Vocabulary 104 5.5.1 Graphic Representations and Graphic Objects 105 5.5.2 Graphic Relations and Syntactic Structures 107 5.6 VISO/data Module – Characterising Data 110 5.6.1 Data Structure and Characteristics of Relations 110 5.6.2 The Scale of Measurement and Units 112 5.6.3 Properties for Characterising Data Variables in Statistical Data 113 5.7 VISO/facts Module – Facts for Vis. Constraints and Rules 115 5.7.1 Expressiveness of Graphic Relations 116 5.7.2 Effectiveness Ranking of Graphic Relations 118 5.7.3 Rules for Composing Graphics 119 5.7.4 Other Rules to Consider for Visual Mapping 124 5.7.5 Providing Named Value Collections 124 5.7.6 Existing Approaches to the Formalisation of Visualisation Knowledge . . 126 5.7.7 The VISO/facts/empiric Example Knowledge Base 126 5.8 Other VISO Modules 126 5.9 Conclusions and Future Work 127 5.10 Further Use Cases for VISO 127 5.11 VISO on the Web – Sharing the Vocabulary to Build a Community 128 6 A VISO-Based Abstract Visual Model – AVM 129 6.1 Graphical Notation Used in this Chapter 129 6.2 Elementary Graphic Objects and Graphic Attributes 131 6.3 N-Ary Relations 131 6.4 Binary Relations 131 6.5 Composition of Graphic Objects Using Roles 132 6.6 Composition of Graphic Relations Using Roles 132 6.7 Composition of Visual Mappings Using the AVM 135 6.8 Tracing 135 6.9 Is it Worth Having an Abstract Visual Model? 135 6.10 Discussion of Fresnel as a Related Language 137 6.11 Related Work 139 6.12 Limitations 139 6.13 Conclusions 140 7 A Language for RDFS/OWL Visualisation – RVL 141 7.1 Language Requirements 142 7.2 Main RVL Constructs 145 7.2.1 Mapping 145 7.2.2 Property Mapping 146 7.2.3 Identity Mapping 146 7.2.4 Value Mapping 147 7.2.5 Inheriting RVL Settings 147 7.2.6 Resource Mapping 148 7.2.7 Simplifications 149 7.3 Calculating Value Mappings 150 7.4 Defining Scale of Measurement 153 7.4.1 Determining the Scale of Measurement 154 7.5 Addressing Values in Value Mappings 156 7.5.1 Determining the Set of Addressed Source Values 156 7.5.2 Determining the Set of Addressed Target Values 157 7.6 Overlapping Value Mappings 158 7.7 Default Value Mapping 158 7.8 Default Labelling 159 7.9 Defining Interaction 159 7.10 Mapping Composition and Submappings 160 7.11 A Schema Language for RVL 160 7.11.1 Concrete Examples of the RVL Schema 163 7.12 Conclusions and Future Work 166 8 The OGVIC Approach 169 8.1 Ontology-Driven, Guided Editing of Visual Mappings 172 8.1.1 Classification of Constraints 172 8.1.2 Levels of Guidance 173 8.1.3 Implementing Constraint-Based Guidance 173 8.2 Support of Explicit and Composable Visual Mappings 177 8.2.1 Mapping Composition Cases 178 8.2.2 Selecting a Context 180 8.2.3 Using the Same Graphic Relation Multiple Times 181 8.3 Prototype P1 (TopBraid-Composer-based) 182 8.4 Prototype P2 (OntoWiki-based) 184 8.5 Prototype P3 (Java Implementation of RVL) 187 8.6 Lessons Learned from Prototypes & Future Work 190 8.6.1 Checking RVL Constraints and Visualisation Rules 190 8.6.2 A User Interface for Editing RVL Mappings 190 8.6.3 Graph Transformations with SPIN and SPARQL 1.1 Update 192 8.6.4 Selection and Filtering of Data 193 8.6.5 Interactivity and Incremental Processing 193 8.6.6 Rendering the Final Platform-Specific Code 196 9 Application 197 9.1 Coverage of Case Study Sketches and Necessary Features 198 9.2 Coverage of Visualisation Cases 201 9.3 Coverage of Requirements 205 9.4 Full Example 206 10 Conclusions 211 10.1 Contributions 211 10.2 Constructive Evaluation 212 10.3 Research Questions 213 10.4 Transfer to Other Models and Constraint Languages 213 10.5 Limitations 214 10.6 Future Work 214 Appendices 217 A Case Study Sketches 219 B VISO – Comparison of Visualisation Literature 229 C RVL 231 D RVL Example Mappings and Application 233 D.1 Listings of RVL Example Mappings as Required by Protot

Ontology-Driven, Guided Visualisation Supporting Explicit and Composable Mappings

Data masses on the World Wide Web can hardly be managed by humans or machines. One option is the formal description and linking of data sources using Semantic Web and Linked Data technologies. Ontologies written in standardised languages foster the sharing and linking of data as they provide a means to formally define concepts and relations between these concepts. A second option is visualisation. The visual representation allows humans to perceive information more directly, using the highly developed visual sense. Relatively few efforts have been made on combining both options, although the formality and rich semantics of ontological data make it an ideal candidate for visualisation. Advanced visualisation design systems support the visualisation of tabular, typically statistical data. However, visualisations of ontological data still have to be created manually, since automated solutions are often limited to generic lists or node-link diagrams. Also, the semantics of ontological data are not exploited for guiding users through visualisation tasks. Finally, once a good visualisation setting has been created, it cannot easily be reused and shared. Trying to tackle these problems, we had to answer how to define composable and shareable mappings from ontological data to visual means and how to guide the visual mapping of ontological data. We present an approach that allows for the guided visualisation of ontological data, the creation of effective graphics and the reuse of visualisation settings. Instead of generic graphics, we aim at tailor-made graphics, produced using the whole palette of visual means in a flexible, bottom-up approach. It not only allows for visualising ontologies, but uses ontologies to guide users when visualising data and to drive the visualisation process at various places: First, as a rich source of information on data characteristics, second, as a means to formally describe the vocabulary for building abstract graphics, and third, as a knowledge base of facts on visualisation. This is why we call our approach ontology-driven. We suggest generating an Abstract Visual Model (AVM) to represent and »synthesise« a graphic following a role-based approach, inspired by the one used by J. v. Engelhardt for the analysis of graphics. It consists of graphic objects and relations formalised in the Visualisation Ontology (VISO). A mappings model, based on the declarative RDFS/OWL Visualisation Language (RVL), determines a set of transformations from the domain data to the AVM. RVL allows for composable visual mappings that can be shared and reused across platforms. To guide the user, for example, we discourage the construction of mappings that are suboptimal according to an effectiveness ranking formalised in the fact base and suggest more effective mappings instead. The guidance process is flexible, since it is based on exchangeable rules. VISO, RVL and the AVM are additional contributions of this thesis. Further, we initially analysed the state of the art in visualisation and RDF-presentation comparing 10 approaches by 29 criteria. Our approach is unique because it combines ontology-driven guidance with composable visual mappings. Finally, we compare three prototypes covering the essential parts of our approach to show its feasibility. We show how the mapping process can be supported by tools displaying warning messages for non-optimal visual mappings, e.g., by considering relation characteristics such as »symmetry«. In a constructive evaluation, we challenge both the RVL language and the latest prototype trying to regenerate sketches of graphics we created manually during analysis. We demonstrate how graphics can be varied and complex mappings can be composed from simple ones. Two thirds of the sketches can be almost or completely specified and half of them can be almost or completely implemented.:Legend and Overview of Prefixes xiii 1 Introduction 1 2 Background 11 2.1 Visualisation 11 2.1.1 What is Visualisation? 11 2.1.2 What are the Benefits of Visualisation? 12 2.1.3 Visualisation Related Terms Used in this Thesis 12 2.1.4 Visualisation Models and Architectural Patterns 12 2.1.5 Visualisation Design Systems 14 2.1.6 What is the Difference between Visual Mapping and Styling? 14 2.1.7 Lessons Learned from Style Sheet Languages 15 2.2 Data 16 2.2.1 Data – Information – Knowledge 17 2.2.2 Structured Data 17 2.2.3 Ontologies in Computer Science 19 2.2.4 The Semantic Web and its Languages 19 2.2.5 Linked Data and Open Data 20 2.2.6 The Metamodelling Technological Space 21 2.2.7 SPIN 21 2.3 Guidance 22 2.3.1 Guidance in Visualisation 22 3 Problem Analysis 23 3.1 Problems of Ontology Visualisation Approaches 24 3.2 Research Questions 25 3.3 Set up of the Case Studies 25 3.3.1 Case Studies in the Life Sciences Domain 26 3.3.2 Case Studies in the Publishing Domain 26 3.3.3 Case Studies in the Software Technology Domain 27 3.4 Analysis of the Case Studies’ Ontologies 27 3.5 Manual Sketching of Graphics 29 3.6 Analysis of the Graphics for Typical Visualisation Cases 29 3.7 Requirements 33 3.7.1 Requirements for Visualisation and Interaction 34 3.7.2 Requirements for Data Awareness 34 3.7.3 Requirements for Reuse and Composition 34 3.7.4 Requirements for Variability 35 3.7.5 Requirements for Tooling Support and Guidance 35 3.7.6 Optional Features and Limitations 36 4 Analysis of the State of the Art 37 4.1 Related Visualisation Approaches 38 4.1.1 Short Overview of the Approaches 38 4.1.2 Detailed Comparison by Criteria 46 4.1.3 Conclusion – What Is Still Missing? 60 4.2 Visualisation Languages 62 4.2.1 Short Overview of the Compared Languages 62 4.2.2 Detailed Comparison by Language Criteria 66 4.2.3 Conclusion – What Is Still Missing? 71 4.3 RDF Presentation Languages 72 4.3.1 Short Overview of the Compared Languages 72 4.3.2 Detailed Comparison by Language Criteria 76 4.3.3 Additional Criteria for RDF Display Languages 87 4.3.4 Conclusion – What Is Still Missing? 89 4.4 Model-Driven Interfaces 90 4.4.1 Metamodel-Driven Interfaces 90 4.4.2 Ontology-Driven Interfaces 92 4.4.3 Combined Usage of the Metamodelling and Ontology Technological Space 94 5 A Visualisation Ontology – VISO 97 5.1 Methodology Used for Ontology Creation 100 5.2 Requirements for a Visualisation Ontology 100 5.3 Existing Approaches to Modelling in the Field of Visualisation 101 5.3.1 Terminologies and Taxonomies 101 5.3.2 Existing Visualisation Ontologies 102 5.3.3 Other Visualisation Models and Approaches to Formalisation 103 5.3.4 Summary 103 5.4 Technical Aspects of VISO 103 5.5 VISO/graphic Module – Graphic Vocabulary 104 5.5.1 Graphic Representations and Graphic Objects 105 5.5.2 Graphic Relations and Syntactic Structures 107 5.6 VISO/data Module – Characterising Data 110 5.6.1 Data Structure and Characteristics of Relations 110 5.6.2 The Scale of Measurement and Units 112 5.6.3 Properties for Characterising Data Variables in Statistical Data 113 5.7 VISO/facts Module – Facts for Vis. Constraints and Rules 115 5.7.1 Expressiveness of Graphic Relations 116 5.7.2 Effectiveness Ranking of Graphic Relations 118 5.7.3 Rules for Composing Graphics 119 5.7.4 Other Rules to Consider for Visual Mapping 124 5.7.5 Providing Named Value Collections 124 5.7.6 Existing Approaches to the Formalisation of Visualisation Knowledge . . 126 5.7.7 The VISO/facts/empiric Example Knowledge Base 126 5.8 Other VISO Modules 126 5.9 Conclusions and Future Work 127 5.10 Further Use Cases for VISO 127 5.11 VISO on the Web – Sharing the Vocabulary to Build a Community 128 6 A VISO-Based Abstract Visual Model – AVM 129 6.1 Graphical Notation Used in this Chapter 129 6.2 Elementary Graphic Objects and Graphic Attributes 131 6.3 N-Ary Relations 131 6.4 Binary Relations 131 6.5 Composition of Graphic Objects Using Roles 132 6.6 Composition of Graphic Relations Using Roles 132 6.7 Composition of Visual Mappings Using the AVM 135 6.8 Tracing 135 6.9 Is it Worth Having an Abstract Visual Model? 135 6.10 Discussion of Fresnel as a Related Language 137 6.11 Related Work 139 6.12 Limitations 139 6.13 Conclusions 140 7 A Language for RDFS/OWL Visualisation – RVL 141 7.1 Language Requirements 142 7.2 Main RVL Constructs 145 7.2.1 Mapping 145 7.2.2 Property Mapping 146 7.2.3 Identity Mapping 146 7.2.4 Value Mapping 147 7.2.5 Inheriting RVL Settings 147 7.2.6 Resource Mapping 148 7.2.7 Simplifications 149 7.3 Calculating Value Mappings 150 7.4 Defining Scale of Measurement 153 7.4.1 Determining the Scale of Measurement 154 7.5 Addressing Values in Value Mappings 156 7.5.1 Determining the Set of Addressed Source Values 156 7.5.2 Determining the Set of Addressed Target Values 157 7.6 Overlapping Value Mappings 158 7.7 Default Value Mapping 158 7.8 Default Labelling 159 7.9 Defining Interaction 159 7.10 Mapping Composition and Submappings 160 7.11 A Schema Language for RVL 160 7.11.1 Concrete Examples of the RVL Schema 163 7.12 Conclusions and Future Work 166 8 The OGVIC Approach 169 8.1 Ontology-Driven, Guided Editing of Visual Mappings 172 8.1.1 Classification of Constraints 172 8.1.2 Levels of Guidance 173 8.1.3 Implementing Constraint-Based Guidance 173 8.2 Support of Explicit and Composable Visual Mappings 177 8.2.1 Mapping Composition Cases 178 8.2.2 Selecting a Context 180 8.2.3 Using the Same Graphic Relation Multiple Times 181 8.3 Prototype P1 (TopBraid-Composer-based) 182 8.4 Prototype P2 (OntoWiki-based) 184 8.5 Prototype P3 (Java Implementation of RVL) 187 8.6 Lessons Learned from Prototypes & Future Work 190 8.6.1 Checking RVL Constraints and Visualisation Rules 190 8.6.2 A User Interface for Editing RVL Mappings 190 8.6.3 Graph Transformations with SPIN and SPARQL 1.1 Update 192 8.6.4 Selection and Filtering of Data 193 8.6.5 Interactivity and Incremental Processing 193 8.6.6 Rendering the Final Platform-Specific Code 196 9 Application 197 9.1 Coverage of Case Study Sketches and Necessary Features 198 9.2 Coverage of Visualisation Cases 201 9.3 Coverage of Requirements 205 9.4 Full Example 206 10 Conclusions 211 10.1 Contributions 211 10.2 Constructive Evaluation 212 10.3 Research Questions 213 10.4 Transfer to Other Models and Constraint Languages 213 10.5 Limitations 214 10.6 Future Work 214 Appendices 217 A Case Study Sketches 219 B VISO – Comparison of Visualisation Literature 229 C RVL 231 D RVL Example Mappings and Application 233 D.1 Listings of RVL Example Mappings as Required by Prototype P3 233 D.2 Features Required for Implementing all Sketches 235 D.3 JSON Format for Processing the AVM with D3 – Hierarchical Variant 238 Bibliography 238 List of Figures 251 List of Tables 254 List of Listings 257Datenmassen im World Wide Web können kaum von Menschen oder Maschinen erfasst werden. Eine Option ist die formale Beschreibung und Verknüpfung von Datenquellen mit Semantic-Web- und Linked-Data-Technologien. Ontologien, in standardisierten Sprachen geschrieben, befördern das Teilen und Verknüpfen von Daten, da sie ein Mittel zur formalen Definition von Konzepten und Beziehungen zwischen diesen Konzepten darstellen. Eine zweite Option ist die Visualisierung. Die visuelle Repräsentation ermöglicht es dem Menschen, Informationen direkter wahrzunehmen, indem er seinen hochentwickelten Sehsinn verwendet. Relativ wenige Anstrengungen wurden unternommen, um beide Optionen zu kombinieren, obwohl die Formalität und die reichhaltige Semantik ontologische Daten zu einem idealen Kandidaten für die Visualisierung machen. Visualisierungsdesignsysteme unterstützen Nutzer bei der Visualisierung von tabellarischen, typischerweise statistischen Daten. Visualisierungen ontologischer Daten jedoch müssen noch manuell erstellt werden, da automatisierte Lösungen häufig auf generische Listendarstellungen oder Knoten-Kanten-Diagramme beschränkt sind. Auch die Semantik der ontologischen Daten wird nicht ausgenutzt, um Benutzer durch Visualisierungsaufgaben zu führen. Einmal erstellte Visualisierungseinstellungen können nicht einfach wiederverwendet und geteilt werden. Um diese Probleme zu lösen, mussten wir eine Antwort darauf finden, wie die Definition komponierbarer und wiederverwendbarer Abbildungen von ontologischen Daten auf visuelle Mittel geschehen könnte und wie Nutzer bei dieser Abbildung geführt werden könnten. Wir stellen einen Ansatz vor, der die geführte Visualisierung von ontologischen Daten, die Erstellung effektiver Grafiken und die Wiederverwendung von Visualisierungseinstellungen ermöglicht. Statt auf generische Grafiken zielt der Ansatz auf maßgeschneiderte Grafiken ab, die mit der gesamten Palette visueller Mittel in einem flexiblen Bottom-Up-Ansatz erstellt werden. Er erlaubt nicht nur die Visualisierung von Ontologien, sondern verwendet auch Ontologien, um Benutzer bei der Visualisierung von Daten zu führen und den Visualisierungsprozess an verschiedenen Stellen zu steuern: Erstens als eine reichhaltige Informationsquelle zu Datencharakteristiken, zweitens als Mittel zur formalen Beschreibung des Vokabulars für den Aufbau von abstrakten Grafiken und drittens als Wissensbasis von Visualisierungsfakten. Deshalb nennen wir unseren Ansatz ontologie-getrieben. Wir schlagen vor, ein Abstract Visual Model (AVM) zu generieren, um eine Grafik rollenbasiert zu synthetisieren, angelehnt an einen Ansatz der von J. v. Engelhardt verwendet wird, um Grafiken zu analysieren. Das AVM besteht aus grafischen Objekten und Relationen, die in der Visualisation Ontology (VISO) formalisiert sind. Ein Mapping-Modell, das auf der deklarativen RDFS/OWL Visualisation Language (RVL) basiert, bestimmt eine Menge von Transformationen von den Quelldaten zum AVM. RVL ermöglicht zusammensetzbare »Mappings«, visuelle Abbildungen, die über Plattformen hinweg geteilt und wiederverwendet werden können. Um den Benutzer zu führen, bewerten wir Mappings anhand eines in der Faktenbasis formalisierten Effektivitätsrankings und schlagen ggf. effektivere Mappings vor. Der Beratungsprozess ist flexibel, da er auf austauschbaren Regeln basiert. VISO, RVL und das AVM sind weitere Beiträge dieser Arbeit. Darüber hinaus analysieren wir zunächst den Stand der Technik in der Visualisierung und RDF-Präsentation, indem wir 10 Ansätze nach 29 Kriterien vergleichen. Unser Ansatz ist einzigartig, da er eine ontologie-getriebene Nutzerführung mit komponierbaren visuellen Mappings vereint. Schließlich vergleichen wir drei Prototypen, welche die wesentlichen Teile unseres Ansatzes umsetzen, um seine Machbarkeit zu zeigen. Wir zeigen, wie der Mapping-Prozess durch Tools unterstützt werden kann, die Warnmeldungen für nicht optimale visuelle Abbildungen anzeigen, z. B. durch Berücksichtigung von Charakteristiken der Relationen wie »Symmetrie«. In einer konstruktiven Evaluation fordern wir sowohl die RVL-Sprache als auch den neuesten Prototyp heraus, indem wir versuchen Skizzen von Grafiken umzusetzen, die wir während der Analyse manuell erstellt haben. Wir zeigen, wie Grafiken variiert werden können und komplexe Mappings aus einfachen zusammengesetzt werden können. Zwei Drittel der Skizzen können fast vollständig oder vollständig spezifiziert werden und die Hälfte kann fast vollständig oder vollständig umgesetzt werden.:Legend and Overview of Prefixes xiii 1 Introduction 1 2 Background 11 2.1 Visualisation 11 2.1.1 What is Visualisation? 11 2.1.2 What are the Benefits of Visualisation? 12 2.1.3 Visualisation Related Terms Used in this Thesis 12 2.1.4 Visualisation Models and Architectural Patterns 12 2.1.5 Visualisation Design Systems 14 2.1.6 What is the Difference between Visual Mapping and Styling? 14 2.1.7 Lessons Learned from Style Sheet Languages 15 2.2 Data 16 2.2.1 Data – Information – Knowledge 17 2.2.2 Structured Data 17 2.2.3 Ontologies in Computer Science 19 2.2.4 The Semantic Web and its Languages 19 2.2.5 Linked Data and Open Data 20 2.2.6 The Metamodelling Technological Space 21 2.2.7 SPIN 21 2.3 Guidance 22 2.3.1 Guidance in Visualisation 22 3 Problem Analysis 23 3.1 Problems of Ontology Visualisation Approaches 24 3.2 Research Questions 25 3.3 Set up of the Case Studies 25 3.3.1 Case Studies in the Life Sciences Domain 26 3.3.2 Case Studies in the Publishing Domain 26 3.3.3 Case Studies in the Software Technology Domain 27 3.4 Analysis of the Case Studies’ Ontologies 27 3.5 Manual Sketching of Graphics 29 3.6 Analysis of the Graphics for Typical Visualisation Cases 29 3.7 Requirements 33 3.7.1 Requirements for Visualisation and Interaction 34 3.7.2 Requirements for Data Awareness 34 3.7.3 Requirements for Reuse and Composition 34 3.7.4 Requirements for Variability 35 3.7.5 Requirements for Tooling Support and Guidance 35 3.7.6 Optional Features and Limitations 36 4 Analysis of the State of the Art 37 4.1 Related Visualisation Approaches 38 4.1.1 Short Overview of the Approaches 38 4.1.2 Detailed Comparison by Criteria 46 4.1.3 Conclusion – What Is Still Missing? 60 4.2 Visualisation Languages 62 4.2.1 Short Overview of the Compared Languages 62 4.2.2 Detailed Comparison by Language Criteria 66 4.2.3 Conclusion – What Is Still Missing? 71 4.3 RDF Presentation Languages 72 4.3.1 Short Overview of the Compared Languages 72 4.3.2 Detailed Comparison by Language Criteria 76 4.3.3 Additional Criteria for RDF Display Languages 87 4.3.4 Conclusion – What Is Still Missing? 89 4.4 Model-Driven Interfaces 90 4.4.1 Metamodel-Driven Interfaces 90 4.4.2 Ontology-Driven Interfaces 92 4.4.3 Combined Usage of the Metamodelling and Ontology Technological Space 94 5 A Visualisation Ontology – VISO 97 5.1 Methodology Used for Ontology Creation 100 5.2 Requirements for a Visualisation Ontology 100 5.3 Existing Approaches to Modelling in the Field of Visualisation 101 5.3.1 Terminologies and Taxonomies 101 5.3.2 Existing Visualisation Ontologies 102 5.3.3 Other Visualisation Models and Approaches to Formalisation 103 5.3.4 Summary 103 5.4 Technical Aspects of VISO 103 5.5 VISO/graphic Module – Graphic Vocabulary 104 5.5.1 Graphic Representations and Graphic Objects 105 5.5.2 Graphic Relations and Syntactic Structures 107 5.6 VISO/data Module – Characterising Data 110 5.6.1 Data Structure and Characteristics of Relations 110 5.6.2 The Scale of Measurement and Units 112 5.6.3 Properties for Characterising Data Variables in Statistical Data 113 5.7 VISO/facts Module – Facts for Vis. Constraints and Rules 115 5.7.1 Expressiveness of Graphic Relations 116 5.7.2 Effectiveness Ranking of Graphic Relations 118 5.7.3 Rules for Composing Graphics 119 5.7.4 Other Rules to Consider for Visual Mapping 124 5.7.5 Providing Named Value Collections 124 5.7.6 Existing Approaches to the Formalisation of Visualisation Knowledge . . 126 5.7.7 The VISO/facts/empiric Example Knowledge Base 126 5.8 Other VISO Modules 126 5.9 Conclusions and Future Work 127 5.10 Further Use Cases for VISO 127 5.11 VISO on the Web – Sharing the Vocabulary to Build a Community 128 6 A VISO-Based Abstract Visual Model – AVM 129 6.1 Graphical Notation Used in this Chapter 129 6.2 Elementary Graphic Objects and Graphic Attributes 131 6.3 N-Ary Relations 131 6.4 Binary Relations 131 6.5 Composition of Graphic Objects Using Roles 132 6.6 Composition of Graphic Relations Using Roles 132 6.7 Composition of Visual Mappings Using the AVM 135 6.8 Tracing 135 6.9 Is it Worth Having an Abstract Visual Model? 135 6.10 Discussion of Fresnel as a Related Language 137 6.11 Related Work 139 6.12 Limitations 139 6.13 Conclusions 140 7 A Language for RDFS/OWL Visualisation – RVL 141 7.1 Language Requirements 142 7.2 Main RVL Constructs 145 7.2.1 Mapping 145 7.2.2 Property Mapping 146 7.2.3 Identity Mapping 146 7.2.4 Value Mapping 147 7.2.5 Inheriting RVL Settings 147 7.2.6 Resource Mapping 148 7.2.7 Simplifications 149 7.3 Calculating Value Mappings 150 7.4 Defining Scale of Measurement 153 7.4.1 Determining the Scale of Measurement 154 7.5 Addressing Values in Value Mappings 156 7.5.1 Determining the Set of Addressed Source Values 156 7.5.2 Determining the Set of Addressed Target Values 157 7.6 Overlapping Value Mappings 158 7.7 Default Value Mapping 158 7.8 Default Labelling 159 7.9 Defining Interaction 159 7.10 Mapping Composition and Submappings 160 7.11 A Schema Language for RVL 160 7.11.1 Concrete Examples of the RVL Schema 163 7.12 Conclusions and Future Work 166 8 The OGVIC Approach 169 8.1 Ontology-Driven, Guided Editing of Visual Mappings 172 8.1.1 Classification of Constraints 172 8.1.2 Levels of Guidance 173 8.1.3 Implementing Constraint-Based Guidance 173 8.2 Support of Explicit and Composable Visual Mappings 177 8.2.1 Mapping Composition Cases 178 8.2.2 Selecting a Context 180 8.2.3 Using the Same Graphic Relation Multiple Times 181 8.3 Prototype P1 (TopBraid-Composer-based) 182 8.4 Prototype P2 (OntoWiki-based) 184 8.5 Prototype P3 (Java Implementation of RVL) 187 8.6 Lessons Learned from Prototypes & Future Work 190 8.6.1 Checking RVL Constraints and Visualisation Rules 190 8.6.2 A User Interface for Editing RVL Mappings 190 8.6.3 Graph Transformations with SPIN and SPARQL 1.1 Update 192 8.6.4 Selection and Filtering of Data 193 8.6.5 Interactivity and Incremental Processing 193 8.6.6 Rendering the Final Platform-Specific Code 196 9 Application 197 9.1 Coverage of Case Study Sketches and Necessary Features 198 9.2 Coverage of Visualisation Cases 201 9.3 Coverage of Requirements 205 9.4 Full Example 206 10 Conclusions 211 10.1 Contributions 211 10.2 Constructive Evaluation 212 10.3 Research Questions 213 10.4 Transfer to Other Models and Constraint Languages 213 10.5 Limitations 214 10.6 Future Work 214 Appendices 217 A Case Study Sketches 219 B VISO – Comparison of Visualisation Literature 229 C RVL 231 D RVL Example Mappings and Application 233 D.1 Listings of RVL Example Mappings as Required by Protot

Visualisierung großer Datenmengen im Raum: Großer Beleg

Large, strongly connected amounts of data, as collected in knowledge bases or those occurring when describing software, are often read slowly and with difficulty by humans when they are represented as spreadsheets or text. Graphical representations can help people to understand facts more intuitively and offer a quick overview. The electronic representation offers means that are beyond the possibilities of print such as unlimited zoom and hyperlinks. This paper addresses a framework for visualizing connected information in 3D-space taking into account the techniques of media design to build visualization structures and map information to graphical properties.:1 EINFÜHRUNG S. 9 1.1 Zusammenfassung des Gestaltungsentwurfs S. 9 1.2 Ziel des Belegs S. 10 1.3 Interdisziplinäres Projekt S. 10 2 VORGEHEN S. 12 2.1 Ablauf S. 12 2.2 Konkrete Beispielinhalte S. 13 2.3 Beispielimplementierung S. 13 3 DATENMODELL S. 15 3.1 Ontologien S. 15 3.2 Ontologie Konstruktion S. 15 3.3 Analyse der Domain Design S. 18 3.8 Erstes Ordnen S. 19 3.9 Verwendete Ontologie-Struktur S. 21 3.10 Design-Ontologien S. 23 3.11 Schwierigkeiten bei der Ontologiekonstruktion S. 28 3.12 Einpflegen der Daten mit Protégé S. 29 3.13 Facetten S. 29 3.14 Filter S. 32 4 DATENVISUALISIERUNG S. 35 4.1 Visualisierung zeitlicher Daten S. 35 4.2 Hyperhistory S. 35 4.3 Graphisches Vokabular - graphische Dimensionen S. 37 4.4 Mapping S. 39 5 FRAMEWORK UND GESTALTUNG DES MEDIUMS S. 43 5.1 Technologien und Werkzeuge S. 44 5.2 Architektur S. 46 5.3 Konfiguration S. 51 5.4 DataBackendManager S. 52 5.5 Mapping im Framework S. 53 5.6 atomicelements S. 54 5.7 Appearance Bibliothek S. 55 5.8 TransformationUtils S. 56 5.9 Structures S. 57 5.10 LOD S. 64 5.11 Häufung von Einträgen [+] S. 66 5.12 Darstellung von Relationen [+] S. 69 5.13 Head Up Display [+] S. 71 5.14 Navigation S. 72 5.15 Performanz S. 73 5.16 Gestaltung des Mediums S. 74 6 AUSBLICK S. 80 7 FAZIT S. 81 8 ANHANG A – Installation S. 82 8.1 Vorraussetzungen S. 82 8.2 Programmaufruf S. 82 8.3 Stereoskopie S. 82 9 ANHANG B – Beispielimplementierung zur Visualisierung des Themas „Geschichte des Designs in Deutschland im 19. und 20. Jh.“ S. 84 9.1 Eingrenzung des Umfangs S. 84 9.2 Überblick zur deutschen Designgeschichte S. 84 9.3 Vorgehen S. 85 9.4 Unscharfe Datumsangaben S. 85 9.5 Kontextereignisse S. 85 9.6 Ursache-Wirkung-Beziehungen S. 86 9.7 Mehrsprachigkeit S. 86 9.8 Quellenangaben S. 86 9.9 Bildmaterial S. 87 LITERATURVERZEICHNIS S. 88 GLOSSAR S. 90 ABBILDUNGSVERZEICHNIS S. 91Große, stark vernetzte Datenmengen, wie sie in Wissensbasen oder Softwaremodellen vorkommen, sind von Menschen oft nur langsam und mühsam zu lesen, wenn sie als Tabellen oder Text dargestellt werden. Graphische Darstellungen können Menschen helfen, Tatsachen intuitiver zu verstehen und bieten einen schnellen Überblick. Die elektronische Darstellung bietet Mittel, welche über die Möglichkeiten von Print hinausgehen, wie z.B. unbegrenzten Zoom und Hyperlinks. Diese Arbeit stellt ein Framework für die Visualisierung vernetzter Informationen im 3D-Raum vor, welches Techniken der Gestaltung zur Erstellung von graphischen Strukturen und zur Abbildung von Informationen auf graphische Eigenschaften berücksichtigt.:1 EINFÜHRUNG S. 9 1.1 Zusammenfassung des Gestaltungsentwurfs S. 9 1.2 Ziel des Belegs S. 10 1.3 Interdisziplinäres Projekt S. 10 2 VORGEHEN S. 12 2.1 Ablauf S. 12 2.2 Konkrete Beispielinhalte S. 13 2.3 Beispielimplementierung S. 13 3 DATENMODELL S. 15 3.1 Ontologien S. 15 3.2 Ontologie Konstruktion S. 15 3.3 Analyse der Domain Design S. 18 3.8 Erstes Ordnen S. 19 3.9 Verwendete Ontologie-Struktur S. 21 3.10 Design-Ontologien S. 23 3.11 Schwierigkeiten bei der Ontologiekonstruktion S. 28 3.12 Einpflegen der Daten mit Protégé S. 29 3.13 Facetten S. 29 3.14 Filter S. 32 4 DATENVISUALISIERUNG S. 35 4.1 Visualisierung zeitlicher Daten S. 35 4.2 Hyperhistory S. 35 4.3 Graphisches Vokabular - graphische Dimensionen S. 37 4.4 Mapping S. 39 5 FRAMEWORK UND GESTALTUNG DES MEDIUMS S. 43 5.1 Technologien und Werkzeuge S. 44 5.2 Architektur S. 46 5.3 Konfiguration S. 51 5.4 DataBackendManager S. 52 5.5 Mapping im Framework S. 53 5.6 atomicelements S. 54 5.7 Appearance Bibliothek S. 55 5.8 TransformationUtils S. 56 5.9 Structures S. 57 5.10 LOD S. 64 5.11 Häufung von Einträgen [+] S. 66 5.12 Darstellung von Relationen [+] S. 69 5.13 Head Up Display [+] S. 71 5.14 Navigation S. 72 5.15 Performanz S. 73 5.16 Gestaltung des Mediums S. 74 6 AUSBLICK S. 80 7 FAZIT S. 81 8 ANHANG A – Installation S. 82 8.1 Vorraussetzungen S. 82 8.2 Programmaufruf S. 82 8.3 Stereoskopie S. 82 9 ANHANG B – Beispielimplementierung zur Visualisierung des Themas „Geschichte des Designs in Deutschland im 19. und 20. Jh.“ S. 84 9.1 Eingrenzung des Umfangs S. 84 9.2 Überblick zur deutschen Designgeschichte S. 84 9.3 Vorgehen S. 85 9.4 Unscharfe Datumsangaben S. 85 9.5 Kontextereignisse S. 85 9.6 Ursache-Wirkung-Beziehungen S. 86 9.7 Mehrsprachigkeit S. 86 9.8 Quellenangaben S. 86 9.9 Bildmaterial S. 87 LITERATURVERZEICHNIS S. 88 GLOSSAR S. 90 ABBILDUNGSVERZEICHNIS S. 9

Visualisierung großer Datenmengen im Raum: Großer Beleg

Large, strongly connected amounts of data, as collected in knowledge bases or those occurring when describing software, are often read slowly and with difficulty by humans when they are represented as spreadsheets or text. Graphical representations can help people to understand facts more intuitively and offer a quick overview. The electronic representation offers means that are beyond the possibilities of print such as unlimited zoom and hyperlinks. This paper addresses a framework for visualizing connected information in 3D-space taking into account the techniques of media design to build visualization structures and map information to graphical properties.:1 EINFÜHRUNG S. 9 1.1 Zusammenfassung des Gestaltungsentwurfs S. 9 1.2 Ziel des Belegs S. 10 1.3 Interdisziplinäres Projekt S. 10 2 VORGEHEN S. 12 2.1 Ablauf S. 12 2.2 Konkrete Beispielinhalte S. 13 2.3 Beispielimplementierung S. 13 3 DATENMODELL S. 15 3.1 Ontologien S. 15 3.2 Ontologie Konstruktion S. 15 3.3 Analyse der Domain Design S. 18 3.8 Erstes Ordnen S. 19 3.9 Verwendete Ontologie-Struktur S. 21 3.10 Design-Ontologien S. 23 3.11 Schwierigkeiten bei der Ontologiekonstruktion S. 28 3.12 Einpflegen der Daten mit Protégé S. 29 3.13 Facetten S. 29 3.14 Filter S. 32 4 DATENVISUALISIERUNG S. 35 4.1 Visualisierung zeitlicher Daten S. 35 4.2 Hyperhistory S. 35 4.3 Graphisches Vokabular - graphische Dimensionen S. 37 4.4 Mapping S. 39 5 FRAMEWORK UND GESTALTUNG DES MEDIUMS S. 43 5.1 Technologien und Werkzeuge S. 44 5.2 Architektur S. 46 5.3 Konfiguration S. 51 5.4 DataBackendManager S. 52 5.5 Mapping im Framework S. 53 5.6 atomicelements S. 54 5.7 Appearance Bibliothek S. 55 5.8 TransformationUtils S. 56 5.9 Structures S. 57 5.10 LOD S. 64 5.11 Häufung von Einträgen [+] S. 66 5.12 Darstellung von Relationen [+] S. 69 5.13 Head Up Display [+] S. 71 5.14 Navigation S. 72 5.15 Performanz S. 73 5.16 Gestaltung des Mediums S. 74 6 AUSBLICK S. 80 7 FAZIT S. 81 8 ANHANG A – Installation S. 82 8.1 Vorraussetzungen S. 82 8.2 Programmaufruf S. 82 8.3 Stereoskopie S. 82 9 ANHANG B – Beispielimplementierung zur Visualisierung des Themas „Geschichte des Designs in Deutschland im 19. und 20. Jh.“ S. 84 9.1 Eingrenzung des Umfangs S. 84 9.2 Überblick zur deutschen Designgeschichte S. 84 9.3 Vorgehen S. 85 9.4 Unscharfe Datumsangaben S. 85 9.5 Kontextereignisse S. 85 9.6 Ursache-Wirkung-Beziehungen S. 86 9.7 Mehrsprachigkeit S. 86 9.8 Quellenangaben S. 86 9.9 Bildmaterial S. 87 LITERATURVERZEICHNIS S. 88 GLOSSAR S. 90 ABBILDUNGSVERZEICHNIS S. 91Große, stark vernetzte Datenmengen, wie sie in Wissensbasen oder Softwaremodellen vorkommen, sind von Menschen oft nur langsam und mühsam zu lesen, wenn sie als Tabellen oder Text dargestellt werden. Graphische Darstellungen können Menschen helfen, Tatsachen intuitiver zu verstehen und bieten einen schnellen Überblick. Die elektronische Darstellung bietet Mittel, welche über die Möglichkeiten von Print hinausgehen, wie z.B. unbegrenzten Zoom und Hyperlinks. Diese Arbeit stellt ein Framework für die Visualisierung vernetzter Informationen im 3D-Raum vor, welches Techniken der Gestaltung zur Erstellung von graphischen Strukturen und zur Abbildung von Informationen auf graphische Eigenschaften berücksichtigt.:1 EINFÜHRUNG S. 9 1.1 Zusammenfassung des Gestaltungsentwurfs S. 9 1.2 Ziel des Belegs S. 10 1.3 Interdisziplinäres Projekt S. 10 2 VORGEHEN S. 12 2.1 Ablauf S. 12 2.2 Konkrete Beispielinhalte S. 13 2.3 Beispielimplementierung S. 13 3 DATENMODELL S. 15 3.1 Ontologien S. 15 3.2 Ontologie Konstruktion S. 15 3.3 Analyse der Domain Design S. 18 3.8 Erstes Ordnen S. 19 3.9 Verwendete Ontologie-Struktur S. 21 3.10 Design-Ontologien S. 23 3.11 Schwierigkeiten bei der Ontologiekonstruktion S. 28 3.12 Einpflegen der Daten mit Protégé S. 29 3.13 Facetten S. 29 3.14 Filter S. 32 4 DATENVISUALISIERUNG S. 35 4.1 Visualisierung zeitlicher Daten S. 35 4.2 Hyperhistory S. 35 4.3 Graphisches Vokabular - graphische Dimensionen S. 37 4.4 Mapping S. 39 5 FRAMEWORK UND GESTALTUNG DES MEDIUMS S. 43 5.1 Technologien und Werkzeuge S. 44 5.2 Architektur S. 46 5.3 Konfiguration S. 51 5.4 DataBackendManager S. 52 5.5 Mapping im Framework S. 53 5.6 atomicelements S. 54 5.7 Appearance Bibliothek S. 55 5.8 TransformationUtils S. 56 5.9 Structures S. 57 5.10 LOD S. 64 5.11 Häufung von Einträgen [+] S. 66 5.12 Darstellung von Relationen [+] S. 69 5.13 Head Up Display [+] S. 71 5.14 Navigation S. 72 5.15 Performanz S. 73 5.16 Gestaltung des Mediums S. 74 6 AUSBLICK S. 80 7 FAZIT S. 81 8 ANHANG A – Installation S. 82 8.1 Vorraussetzungen S. 82 8.2 Programmaufruf S. 82 8.3 Stereoskopie S. 82 9 ANHANG B – Beispielimplementierung zur Visualisierung des Themas „Geschichte des Designs in Deutschland im 19. und 20. Jh.“ S. 84 9.1 Eingrenzung des Umfangs S. 84 9.2 Überblick zur deutschen Designgeschichte S. 84 9.3 Vorgehen S. 85 9.4 Unscharfe Datumsangaben S. 85 9.5 Kontextereignisse S. 85 9.6 Ursache-Wirkung-Beziehungen S. 86 9.7 Mehrsprachigkeit S. 86 9.8 Quellenangaben S. 86 9.9 Bildmaterial S. 87 LITERATURVERZEICHNIS S. 88 GLOSSAR S. 90 ABBILDUNGSVERZEICHNIS S. 9

Ontology-Driven, Guided Visualisation Supporting Explicit and Composable Mappings

Data masses on the World Wide Web can hardly be managed by humans or machines. One option is the formal description and linking of data sources using Semantic Web and Linked Data technologies. Ontologies written in standardised languages foster the sharing and linking of data as they provide a means to formally define concepts and relations between these concepts. A second option is visualisation. The visual representation allows humans to perceive information more directly, using the highly developed visual sense. Relatively few efforts have been made on combining both options, although the formality and rich semantics of ontological data make it an ideal candidate for visualisation. Advanced visualisation design systems support the visualisation of tabular, typically statistical data. However, visualisations of ontological data still have to be created manually, since automated solutions are often limited to generic lists or node-link diagrams. Also, the semantics of ontological data are not exploited for guiding users through visualisation tasks. Finally, once a good visualisation setting has been created, it cannot easily be reused and shared. Trying to tackle these problems, we had to answer how to define composable and shareable mappings from ontological data to visual means and how to guide the visual mapping of ontological data. We present an approach that allows for the guided visualisation of ontological data, the creation of effective graphics and the reuse of visualisation settings. Instead of generic graphics, we aim at tailor-made graphics, produced using the whole palette of visual means in a flexible, bottom-up approach. It not only allows for visualising ontologies, but uses ontologies to guide users when visualising data and to drive the visualisation process at various places: First, as a rich source of information on data characteristics, second, as a means to formally describe the vocabulary for building abstract graphics, and third, as a knowledge base of facts on visualisation. This is why we call our approach ontology-driven. We suggest generating an Abstract Visual Model (AVM) to represent and »synthesise« a graphic following a role-based approach, inspired by the one used by J. v. Engelhardt for the analysis of graphics. It consists of graphic objects and relations formalised in the Visualisation Ontology (VISO). A mappings model, based on the declarative RDFS/OWL Visualisation Language (RVL), determines a set of transformations from the domain data to the AVM. RVL allows for composable visual mappings that can be shared and reused across platforms. To guide the user, for example, we discourage the construction of mappings that are suboptimal according to an effectiveness ranking formalised in the fact base and suggest more effective mappings instead. The guidance process is flexible, since it is based on exchangeable rules. VISO, RVL and the AVM are additional contributions of this thesis. Further, we initially analysed the state of the art in visualisation and RDF-presentation comparing 10 approaches by 29 criteria. Our approach is unique because it combines ontology-driven guidance with composable visual mappings. Finally, we compare three prototypes covering the essential parts of our approach to show its feasibility. We show how the mapping process can be supported by tools displaying warning messages for non-optimal visual mappings, e.g., by considering relation characteristics such as »symmetry«. In a constructive evaluation, we challenge both the RVL language and the latest prototype trying to regenerate sketches of graphics we created manually during analysis. We demonstrate how graphics can be varied and complex mappings can be composed from simple ones. Two thirds of the sketches can be almost or completely specified and half of them can be almost or completely implemented.:Legend and Overview of Prefixes xiii 1 Introduction 1 2 Background 11 2.1 Visualisation 11 2.1.1 What is Visualisation? 11 2.1.2 What are the Benefits of Visualisation? 12 2.1.3 Visualisation Related Terms Used in this Thesis 12 2.1.4 Visualisation Models and Architectural Patterns 12 2.1.5 Visualisation Design Systems 14 2.1.6 What is the Difference between Visual Mapping and Styling? 14 2.1.7 Lessons Learned from Style Sheet Languages 15 2.2 Data 16 2.2.1 Data – Information – Knowledge 17 2.2.2 Structured Data 17 2.2.3 Ontologies in Computer Science 19 2.2.4 The Semantic Web and its Languages 19 2.2.5 Linked Data and Open Data 20 2.2.6 The Metamodelling Technological Space 21 2.2.7 SPIN 21 2.3 Guidance 22 2.3.1 Guidance in Visualisation 22 3 Problem Analysis 23 3.1 Problems of Ontology Visualisation Approaches 24 3.2 Research Questions 25 3.3 Set up of the Case Studies 25 3.3.1 Case Studies in the Life Sciences Domain 26 3.3.2 Case Studies in the Publishing Domain 26 3.3.3 Case Studies in the Software Technology Domain 27 3.4 Analysis of the Case Studies’ Ontologies 27 3.5 Manual Sketching of Graphics 29 3.6 Analysis of the Graphics for Typical Visualisation Cases 29 3.7 Requirements 33 3.7.1 Requirements for Visualisation and Interaction 34 3.7.2 Requirements for Data Awareness 34 3.7.3 Requirements for Reuse and Composition 34 3.7.4 Requirements for Variability 35 3.7.5 Requirements for Tooling Support and Guidance 35 3.7.6 Optional Features and Limitations 36 4 Analysis of the State of the Art 37 4.1 Related Visualisation Approaches 38 4.1.1 Short Overview of the Approaches 38 4.1.2 Detailed Comparison by Criteria 46 4.1.3 Conclusion – What Is Still Missing? 60 4.2 Visualisation Languages 62 4.2.1 Short Overview of the Compared Languages 62 4.2.2 Detailed Comparison by Language Criteria 66 4.2.3 Conclusion – What Is Still Missing? 71 4.3 RDF Presentation Languages 72 4.3.1 Short Overview of the Compared Languages 72 4.3.2 Detailed Comparison by Language Criteria 76 4.3.3 Additional Criteria for RDF Display Languages 87 4.3.4 Conclusion – What Is Still Missing? 89 4.4 Model-Driven Interfaces 90 4.4.1 Metamodel-Driven Interfaces 90 4.4.2 Ontology-Driven Interfaces 92 4.4.3 Combined Usage of the Metamodelling and Ontology Technological Space 94 5 A Visualisation Ontology – VISO 97 5.1 Methodology Used for Ontology Creation 100 5.2 Requirements for a Visualisation Ontology 100 5.3 Existing Approaches to Modelling in the Field of Visualisation 101 5.3.1 Terminologies and Taxonomies 101 5.3.2 Existing Visualisation Ontologies 102 5.3.3 Other Visualisation Models and Approaches to Formalisation 103 5.3.4 Summary 103 5.4 Technical Aspects of VISO 103 5.5 VISO/graphic Module – Graphic Vocabulary 104 5.5.1 Graphic Representations and Graphic Objects 105 5.5.2 Graphic Relations and Syntactic Structures 107 5.6 VISO/data Module – Characterising Data 110 5.6.1 Data Structure and Characteristics of Relations 110 5.6.2 The Scale of Measurement and Units 112 5.6.3 Properties for Characterising Data Variables in Statistical Data 113 5.7 VISO/facts Module – Facts for Vis. Constraints and Rules 115 5.7.1 Expressiveness of Graphic Relations 116 5.7.2 Effectiveness Ranking of Graphic Relations 118 5.7.3 Rules for Composing Graphics 119 5.7.4 Other Rules to Consider for Visual Mapping 124 5.7.5 Providing Named Value Collections 124 5.7.6 Existing Approaches to the Formalisation of Visualisation Knowledge . . 126 5.7.7 The VISO/facts/empiric Example Knowledge Base 126 5.8 Other VISO Modules 126 5.9 Conclusions and Future Work 127 5.10 Further Use Cases for VISO 127 5.11 VISO on the Web – Sharing the Vocabulary to Build a Community 128 6 A VISO-Based Abstract Visual Model – AVM 129 6.1 Graphical Notation Used in this Chapter 129 6.2 Elementary Graphic Objects and Graphic Attributes 131 6.3 N-Ary Relations 131 6.4 Binary Relations 131 6.5 Composition of Graphic Objects Using Roles 132 6.6 Composition of Graphic Relations Using Roles 132 6.7 Composition of Visual Mappings Using the AVM 135 6.8 Tracing 135 6.9 Is it Worth Having an Abstract Visual Model? 135 6.10 Discussion of Fresnel as a Related Language 137 6.11 Related Work 139 6.12 Limitations 139 6.13 Conclusions 140 7 A Language for RDFS/OWL Visualisation – RVL 141 7.1 Language Requirements 142 7.2 Main RVL Constructs 145 7.2.1 Mapping 145 7.2.2 Property Mapping 146 7.2.3 Identity Mapping 146 7.2.4 Value Mapping 147 7.2.5 Inheriting RVL Settings 147 7.2.6 Resource Mapping 148 7.2.7 Simplifications 149 7.3 Calculating Value Mappings 150 7.4 Defining Scale of Measurement 153 7.4.1 Determining the Scale of Measurement 154 7.5 Addressing Values in Value Mappings 156 7.5.1 Determining the Set of Addressed Source Values 156 7.5.2 Determining the Set of Addressed Target Values 157 7.6 Overlapping Value Mappings 158 7.7 Default Value Mapping 158 7.8 Default Labelling 159 7.9 Defining Interaction 159 7.10 Mapping Composition and Submappings 160 7.11 A Schema Language for RVL 160 7.11.1 Concrete Examples of the RVL Schema 163 7.12 Conclusions and Future Work 166 8 The OGVIC Approach 169 8.1 Ontology-Driven, Guided Editing of Visual Mappings 172 8.1.1 Classification of Constraints 172 8.1.2 Levels of Guidance 173 8.1.3 Implementing Constraint-Based Guidance 173 8.2 Support of Explicit and Composable Visual Mappings 177 8.2.1 Mapping Composition Cases 178 8.2.2 Selecting a Context 180 8.2.3 Using the Same Graphic Relation Multiple Times 181 8.3 Prototype P1 (TopBraid-Composer-based) 182 8.4 Prototype P2 (OntoWiki-based) 184 8.5 Prototype P3 (Java Implementation of RVL) 187 8.6 Lessons Learned from Prototypes & Future Work 190 8.6.1 Checking RVL Constraints and Visualisation Rules 190 8.6.2 A User Interface for Editing RVL Mappings 190 8.6.3 Graph Transformations with SPIN and SPARQL 1.1 Update 192 8.6.4 Selection and Filtering of Data 193 8.6.5 Interactivity and Incremental Processing 193 8.6.6 Rendering the Final Platform-Specific Code 196 9 Application 197 9.1 Coverage of Case Study Sketches and Necessary Features 198 9.2 Coverage of Visualisation Cases 201 9.3 Coverage of Requirements 205 9.4 Full Example 206 10 Conclusions 211 10.1 Contributions 211 10.2 Constructive Evaluation 212 10.3 Research Questions 213 10.4 Transfer to Other Models and Constraint Languages 213 10.5 Limitations 214 10.6 Future Work 214 Appendices 217 A Case Study Sketches 219 B VISO – Comparison of Visualisation Literature 229 C RVL 231 D RVL Example Mappings and Application 233 D.1 Listings of RVL Example Mappings as Required by Prototype P3 233 D.2 Features Required for Implementing all Sketches 235 D.3 JSON Format for Processing the AVM with D3 – Hierarchical Variant 238 Bibliography 238 List of Figures 251 List of Tables 254 List of Listings 257Datenmassen im World Wide Web können kaum von Menschen oder Maschinen erfasst werden. Eine Option ist die formale Beschreibung und Verknüpfung von Datenquellen mit Semantic-Web- und Linked-Data-Technologien. Ontologien, in standardisierten Sprachen geschrieben, befördern das Teilen und Verknüpfen von Daten, da sie ein Mittel zur formalen Definition von Konzepten und Beziehungen zwischen diesen Konzepten darstellen. Eine zweite Option ist die Visualisierung. Die visuelle Repräsentation ermöglicht es dem Menschen, Informationen direkter wahrzunehmen, indem er seinen hochentwickelten Sehsinn verwendet. Relativ wenige Anstrengungen wurden unternommen, um beide Optionen zu kombinieren, obwohl die Formalität und die reichhaltige Semantik ontologische Daten zu einem idealen Kandidaten für die Visualisierung machen. Visualisierungsdesignsysteme unterstützen Nutzer bei der Visualisierung von tabellarischen, typischerweise statistischen Daten. Visualisierungen ontologischer Daten jedoch müssen noch manuell erstellt werden, da automatisierte Lösungen häufig auf generische Listendarstellungen oder Knoten-Kanten-Diagramme beschränkt sind. Auch die Semantik der ontologischen Daten wird nicht ausgenutzt, um Benutzer durch Visualisierungsaufgaben zu führen. Einmal erstellte Visualisierungseinstellungen können nicht einfach wiederverwendet und geteilt werden. Um diese Probleme zu lösen, mussten wir eine Antwort darauf finden, wie die Definition komponierbarer und wiederverwendbarer Abbildungen von ontologischen Daten auf visuelle Mittel geschehen könnte und wie Nutzer bei dieser Abbildung geführt werden könnten. Wir stellen einen Ansatz vor, der die geführte Visualisierung von ontologischen Daten, die Erstellung effektiver Grafiken und die Wiederverwendung von Visualisierungseinstellungen ermöglicht. Statt auf generische Grafiken zielt der Ansatz auf maßgeschneiderte Grafiken ab, die mit der gesamten Palette visueller Mittel in einem flexiblen Bottom-Up-Ansatz erstellt werden. Er erlaubt nicht nur die Visualisierung von Ontologien, sondern verwendet auch Ontologien, um Benutzer bei der Visualisierung von Daten zu führen und den Visualisierungsprozess an verschiedenen Stellen zu steuern: Erstens als eine reichhaltige Informationsquelle zu Datencharakteristiken, zweitens als Mittel zur formalen Beschreibung des Vokabulars für den Aufbau von abstrakten Grafiken und drittens als Wissensbasis von Visualisierungsfakten. Deshalb nennen wir unseren Ansatz ontologie-getrieben. Wir schlagen vor, ein Abstract Visual Model (AVM) zu generieren, um eine Grafik rollenbasiert zu synthetisieren, angelehnt an einen Ansatz der von J. v. Engelhardt verwendet wird, um Grafiken zu analysieren. Das AVM besteht aus grafischen Objekten und Relationen, die in der Visualisation Ontology (VISO) formalisiert sind. Ein Mapping-Modell, das auf der deklarativen RDFS/OWL Visualisation Language (RVL) basiert, bestimmt eine Menge von Transformationen von den Quelldaten zum AVM. RVL ermöglicht zusammensetzbare »Mappings«, visuelle Abbildungen, die über Plattformen hinweg geteilt und wiederverwendet werden können. Um den Benutzer zu führen, bewerten wir Mappings anhand eines in der Faktenbasis formalisierten Effektivitätsrankings und schlagen ggf. effektivere Mappings vor. Der Beratungsprozess ist flexibel, da er auf austauschbaren Regeln basiert. VISO, RVL und das AVM sind weitere Beiträge dieser Arbeit. Darüber hinaus analysieren wir zunächst den Stand der Technik in der Visualisierung und RDF-Präsentation, indem wir 10 Ansätze nach 29 Kriterien vergleichen. Unser Ansatz ist einzigartig, da er eine ontologie-getriebene Nutzerführung mit komponierbaren visuellen Mappings vereint. Schließlich vergleichen wir drei Prototypen, welche die wesentlichen Teile unseres Ansatzes umsetzen, um seine Machbarkeit zu zeigen. Wir zeigen, wie der Mapping-Prozess durch Tools unterstützt werden kann, die Warnmeldungen für nicht optimale visuelle Abbildungen anzeigen, z. B. durch Berücksichtigung von Charakteristiken der Relationen wie »Symmetrie«. In einer konstruktiven Evaluation fordern wir sowohl die RVL-Sprache als auch den neuesten Prototyp heraus, indem wir versuchen Skizzen von Grafiken umzusetzen, die wir während der Analyse manuell erstellt haben. Wir zeigen, wie Grafiken variiert werden können und komplexe Mappings aus einfachen zusammengesetzt werden können. Zwei Drittel der Skizzen können fast vollständig oder vollständig spezifiziert werden und die Hälfte kann fast vollständig oder vollständig umgesetzt werden.:Legend and Overview of Prefixes xiii 1 Introduction 1 2 Background 11 2.1 Visualisation 11 2.1.1 What is Visualisation? 11 2.1.2 What are the Benefits of Visualisation? 12 2.1.3 Visualisation Related Terms Used in this Thesis 12 2.1.4 Visualisation Models and Architectural Patterns 12 2.1.5 Visualisation Design Systems 14 2.1.6 What is the Difference between Visual Mapping and Styling? 14 2.1.7 Lessons Learned from Style Sheet Languages 15 2.2 Data 16 2.2.1 Data – Information – Knowledge 17 2.2.2 Structured Data 17 2.2.3 Ontologies in Computer Science 19 2.2.4 The Semantic Web and its Languages 19 2.2.5 Linked Data and Open Data 20 2.2.6 The Metamodelling Technological Space 21 2.2.7 SPIN 21 2.3 Guidance 22 2.3.1 Guidance in Visualisation 22 3 Problem Analysis 23 3.1 Problems of Ontology Visualisation Approaches 24 3.2 Research Questions 25 3.3 Set up of the Case Studies 25 3.3.1 Case Studies in the Life Sciences Domain 26 3.3.2 Case Studies in the Publishing Domain 26 3.3.3 Case Studies in the Software Technology Domain 27 3.4 Analysis of the Case Studies’ Ontologies 27 3.5 Manual Sketching of Graphics 29 3.6 Analysis of the Graphics for Typical Visualisation Cases 29 3.7 Requirements 33 3.7.1 Requirements for Visualisation and Interaction 34 3.7.2 Requirements for Data Awareness 34 3.7.3 Requirements for Reuse and Composition 34 3.7.4 Requirements for Variability 35 3.7.5 Requirements for Tooling Support and Guidance 35 3.7.6 Optional Features and Limitations 36 4 Analysis of the State of the Art 37 4.1 Related Visualisation Approaches 38 4.1.1 Short Overview of the Approaches 38 4.1.2 Detailed Comparison by Criteria 46 4.1.3 Conclusion – What Is Still Missing? 60 4.2 Visualisation Languages 62 4.2.1 Short Overview of the Compared Languages 62 4.2.2 Detailed Comparison by Language Criteria 66 4.2.3 Conclusion – What Is Still Missing? 71 4.3 RDF Presentation Languages 72 4.3.1 Short Overview of the Compared Languages 72 4.3.2 Detailed Comparison by Language Criteria 76 4.3.3 Additional Criteria for RDF Display Languages 87 4.3.4 Conclusion – What Is Still Missing? 89 4.4 Model-Driven Interfaces 90 4.4.1 Metamodel-Driven Interfaces 90 4.4.2 Ontology-Driven Interfaces 92 4.4.3 Combined Usage of the Metamodelling and Ontology Technological Space 94 5 A Visualisation Ontology – VISO 97 5.1 Methodology Used for Ontology Creation 100 5.2 Requirements for a Visualisation Ontology 100 5.3 Existing Approaches to Modelling in the Field of Visualisation 101 5.3.1 Terminologies and Taxonomies 101 5.3.2 Existing Visualisation Ontologies 102 5.3.3 Other Visualisation Models and Approaches to Formalisation 103 5.3.4 Summary 103 5.4 Technical Aspects of VISO 103 5.5 VISO/graphic Module – Graphic Vocabulary 104 5.5.1 Graphic Representations and Graphic Objects 105 5.5.2 Graphic Relations and Syntactic Structures 107 5.6 VISO/data Module – Characterising Data 110 5.6.1 Data Structure and Characteristics of Relations 110 5.6.2 The Scale of Measurement and Units 112 5.6.3 Properties for Characterising Data Variables in Statistical Data 113 5.7 VISO/facts Module – Facts for Vis. Constraints and Rules 115 5.7.1 Expressiveness of Graphic Relations 116 5.7.2 Effectiveness Ranking of Graphic Relations 118 5.7.3 Rules for Composing Graphics 119 5.7.4 Other Rules to Consider for Visual Mapping 124 5.7.5 Providing Named Value Collections 124 5.7.6 Existing Approaches to the Formalisation of Visualisation Knowledge . . 126 5.7.7 The VISO/facts/empiric Example Knowledge Base 126 5.8 Other VISO Modules 126 5.9 Conclusions and Future Work 127 5.10 Further Use Cases for VISO 127 5.11 VISO on the Web – Sharing the Vocabulary to Build a Community 128 6 A VISO-Based Abstract Visual Model – AVM 129 6.1 Graphical Notation Used in this Chapter 129 6.2 Elementary Graphic Objects and Graphic Attributes 131 6.3 N-Ary Relations 131 6.4 Binary Relations 131 6.5 Composition of Graphic Objects Using Roles 132 6.6 Composition of Graphic Relations Using Roles 132 6.7 Composition of Visual Mappings Using the AVM 135 6.8 Tracing 135 6.9 Is it Worth Having an Abstract Visual Model? 135 6.10 Discussion of Fresnel as a Related Language 137 6.11 Related Work 139 6.12 Limitations 139 6.13 Conclusions 140 7 A Language for RDFS/OWL Visualisation – RVL 141 7.1 Language Requirements 142 7.2 Main RVL Constructs 145 7.2.1 Mapping 145 7.2.2 Property Mapping 146 7.2.3 Identity Mapping 146 7.2.4 Value Mapping 147 7.2.5 Inheriting RVL Settings 147 7.2.6 Resource Mapping 148 7.2.7 Simplifications 149 7.3 Calculating Value Mappings 150 7.4 Defining Scale of Measurement 153 7.4.1 Determining the Scale of Measurement 154 7.5 Addressing Values in Value Mappings 156 7.5.1 Determining the Set of Addressed Source Values 156 7.5.2 Determining the Set of Addressed Target Values 157 7.6 Overlapping Value Mappings 158 7.7 Default Value Mapping 158 7.8 Default Labelling 159 7.9 Defining Interaction 159 7.10 Mapping Composition and Submappings 160 7.11 A Schema Language for RVL 160 7.11.1 Concrete Examples of the RVL Schema 163 7.12 Conclusions and Future Work 166 8 The OGVIC Approach 169 8.1 Ontology-Driven, Guided Editing of Visual Mappings 172 8.1.1 Classification of Constraints 172 8.1.2 Levels of Guidance 173 8.1.3 Implementing Constraint-Based Guidance 173 8.2 Support of Explicit and Composable Visual Mappings 177 8.2.1 Mapping Composition Cases 178 8.2.2 Selecting a Context 180 8.2.3 Using the Same Graphic Relation Multiple Times 181 8.3 Prototype P1 (TopBraid-Composer-based) 182 8.4 Prototype P2 (OntoWiki-based) 184 8.5 Prototype P3 (Java Implementation of RVL) 187 8.6 Lessons Learned from Prototypes & Future Work 190 8.6.1 Checking RVL Constraints and Visualisation Rules 190 8.6.2 A User Interface for Editing RVL Mappings 190 8.6.3 Graph Transformations with SPIN and SPARQL 1.1 Update 192 8.6.4 Selection and Filtering of Data 193 8.6.5 Interactivity and Incremental Processing 193 8.6.6 Rendering the Final Platform-Specific Code 196 9 Application 197 9.1 Coverage of Case Study Sketches and Necessary Features 198 9.2 Coverage of Visualisation Cases 201 9.3 Coverage of Requirements 205 9.4 Full Example 206 10 Conclusions 211 10.1 Contributions 211 10.2 Constructive Evaluation 212 10.3 Research Questions 213 10.4 Transfer to Other Models and Constraint Languages 213 10.5 Limitations 214 10.6 Future Work 214 Appendices 217 A Case Study Sketches 219 B VISO – Comparison of Visualisation Literature 229 C RVL 231 D RVL Example Mappings and Application 233 D.1 Listings of RVL Example Mappings as Required by Protot

Semi-Automatic Mapping of Structured Data to Visual Variables

While semantic web data is machine-understandable and well suited for advanced filtering, in its raw representation it is not conveniently understandable to humans. Therefore, visualization is needed. A core challenge when visualizing the structured but heterogeneous data turned out to be a flexible mapping to Visual Variables. This work deals with a highly flexible, semi-automatic solution with a maximum support of the visualization process, reducing the mapping possibilities to a useful subset. The basis for this is knowledge, concerning metrics and structure of the data on the one hand and available visualization structures, platforms and common graphical facts on the other hand — provided by a novel basic visualization ontology. A declarative, platform-independent mapping vocabulary and a framework was developed, utilizing current standards from the semantic web and the Model-Driven Architecture (MDA).:ABSTRACT S. x 1. INTRODUCTION S. 1 2. VISUALIZATION OF STRUCTURED DATA IN GENERAL S. 4 2.1. Global and Local Interfaces S. 4 2.2. Steps of the Visualization Process S. 4 2.3. Existing Visual Selection Mechanisms S. 6 2.4. Existing Visualizations of Structured Data S. 12 2.5. Categorizing SemVis S. 25 3. REQUIREMENTS FOR A FLEXIBLE VISUALIZATION S. 27 3.1. Actors S. 27 3.2. Use Cases S. 27 4. FRESNEL, A STANDARD DISPLAY VOCABULARY FOR RDF S. 31 4.1. Fresnel Lenses S. 31 4.2. Fresnel Formats S. 33 4.3. Fresnel Groups S. 33 4.4. Primaries (Starting Points) S. 33 4.5. Selectors and Inference S. 34 4.6. Application and Reusability S. 34 4.7. Implementation S. 35 5. A VISUALIZATION ONTOLOGY S. 37 5.1. Describing and Formalizing the Field of Visualization S. 37 5.2. Overview S. 37 5.3. VisualVariable S. 38 5.4. DiscreteVisualValue S. 39 5.5. VisualElement S. 41 5.6. VisualizationStructure S. 42 5.7. VisualizationPlatform S. 42 5.8. PresentationScenario S. 43 5.9. Facts S. 44 6. A NOVEL MAPPING VOCABULARY FOR SEMANTIC VISUALIZATION S. 45 6.1. Overview S. 45 6.2. Mapping S. 46 6.3. PropertyMapping S. 47 6.4. ImplicitMapping S. 48 6.5. ExplicitMapping S. 53 6.6. MixedMapping S. 54 6.7. ComplexMapping S. 55 6.8. Inference S. 58 6.9. Explicit Display of Relations S. 58 6.10. Limitations s. 59 7. A MODEL-DRIVEN ARCHITECTURE FOR FLEXIBLE VISUALIZATION S. 60 7.1. A Model-Driven Architecture S. 61 7.2. Applications of the MDA Pattern S. 62 7.3. Complete System Overview S. 71 7.4. Additional Knowledge of the System S. 72 7.5. Comparison to the Graphical Modelling Framework — GMF S. 77 8. VISUALIZATION PLATFORMS S. 80 8.1. Extensible 3D (X3D) S. 80 8.2. Scalable Vector Graphics (SVG) S. 81 8.3. XHTML + CSS S. 82 8.4. Text S. 82 9. OUTLOOK AND CONCLUSION S. 84 9.1. Advanced Mapping Vocabulary S. 84 9.2. Reusing Standardized Ontologies S. 84 9.3. Enabling Dynamic, Interaction and Animation S. 84 9.4. Implementation and Evaluation S. 85 9.5. Conclusion S. 85 GLOSSARY S. 86 BIBLIOGRAPHY S. 87 A. S. 90 A.1. Schemata S. 90Während Semantic-Web-Daten maschinenverstehbar und hervorragend filterbar sind, sind sie — in ihrer Rohform — nicht leicht von Menschen verstehbar. Eine Visualisierung der Daten ist deshalb notwendig. Die Kernherausforderung dabei ist eine flexible Abbildung der strukturierten aber heterogenen Daten auf Visuelle Variablen. Diese Arbeit beschreibt eine hochflexible halbautomatische Lösung bei maximaler Unterstützung des Visualisierungsprozesses, welcher die Abbildungsmöglichkeiten, aus denen der Nutzer zu wählen hat, auf eine sinnvolle Teilmenge reduziert. Die Grundlage dafür sind einerseits Metriken und das Wissen über die Struktur der Daten und andererseits das Wissen über verfügbare Visualisierungsstrukturen, -plattformen und bekannte grafische Fakten, welche durch eine neuentwickelte Visualisierungsontologie bereitgestellt werden. Basierend auf Standards des Semantic Webs und der Model-getriebenen Architektur, wurde desweiteren ein deklaratives, plattformunabhängiges Visualisierungsvokabular und -framework entwickelt.:ABSTRACT S. x 1. INTRODUCTION S. 1 2. VISUALIZATION OF STRUCTURED DATA IN GENERAL S. 4 2.1. Global and Local Interfaces S. 4 2.2. Steps of the Visualization Process S. 4 2.3. Existing Visual Selection Mechanisms S. 6 2.4. Existing Visualizations of Structured Data S. 12 2.5. Categorizing SemVis S. 25 3. REQUIREMENTS FOR A FLEXIBLE VISUALIZATION S. 27 3.1. Actors S. 27 3.2. Use Cases S. 27 4. FRESNEL, A STANDARD DISPLAY VOCABULARY FOR RDF S. 31 4.1. Fresnel Lenses S. 31 4.2. Fresnel Formats S. 33 4.3. Fresnel Groups S. 33 4.4. Primaries (Starting Points) S. 33 4.5. Selectors and Inference S. 34 4.6. Application and Reusability S. 34 4.7. Implementation S. 35 5. A VISUALIZATION ONTOLOGY S. 37 5.1. Describing and Formalizing the Field of Visualization S. 37 5.2. Overview S. 37 5.3. VisualVariable S. 38 5.4. DiscreteVisualValue S. 39 5.5. VisualElement S. 41 5.6. VisualizationStructure S. 42 5.7. VisualizationPlatform S. 42 5.8. PresentationScenario S. 43 5.9. Facts S. 44 6. A NOVEL MAPPING VOCABULARY FOR SEMANTIC VISUALIZATION S. 45 6.1. Overview S. 45 6.2. Mapping S. 46 6.3. PropertyMapping S. 47 6.4. ImplicitMapping S. 48 6.5. ExplicitMapping S. 53 6.6. MixedMapping S. 54 6.7. ComplexMapping S. 55 6.8. Inference S. 58 6.9. Explicit Display of Relations S. 58 6.10. Limitations s. 59 7. A MODEL-DRIVEN ARCHITECTURE FOR FLEXIBLE VISUALIZATION S. 60 7.1. A Model-Driven Architecture S. 61 7.2. Applications of the MDA Pattern S. 62 7.3. Complete System Overview S. 71 7.4. Additional Knowledge of the System S. 72 7.5. Comparison to the Graphical Modelling Framework — GMF S. 77 8. VISUALIZATION PLATFORMS S. 80 8.1. Extensible 3D (X3D) S. 80 8.2. Scalable Vector Graphics (SVG) S. 81 8.3. XHTML + CSS S. 82 8.4. Text S. 82 9. OUTLOOK AND CONCLUSION S. 84 9.1. Advanced Mapping Vocabulary S. 84 9.2. Reusing Standardized Ontologies S. 84 9.3. Enabling Dynamic, Interaction and Animation S. 84 9.4. Implementation and Evaluation S. 85 9.5. Conclusion S. 85 GLOSSARY S. 86 BIBLIOGRAPHY S. 87 A. S. 90 A.1. Schemata S. 9

Towards a Unifying Visualization Ontology

Although many terminologies, taxonomies and also first ontologies for visualization have been suggested, there is still no unified and formal knowledge representation including the various fields of this interdisciplinary domain. We moved a step towards such an ontology by systematically reviewing existing models and classifications, identifying important fields and discussing inconsistently used terms. Finally, we specified an initial visualization ontology which can be used for both classification and synthesis of graphical representations. Our ontology can also serve the visualization community as a foundation to further formalize, align and unify its existing and future knowledge